Grounding Without Corrective Control: Truth-Tracking Profiles for Large Language Models

Die Karte vs. der Kompass: Warum Wissen nicht dasselbe ist wie das Gehen des Weges

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie man durch eine Stadt navigiert. Sie haben zwei Möglichkeiten dazu. Die erste besteht darin, dem Roboter eine riesige, perfekte Karte der Stadt zu geben, die über Jahrhende von tausenden Menschen erstellt wurde. Der Roboter lernt jede Straße, jedes Gebäude und jede Abkürzung auswendig. Er kann die Karte perfekt rezitieren und sogar neue Karten zeichnen, die exakt wie die alten aussehen. Das ist vergleichbar mit der Art und Weise, wie viele Systeme der künstlichen Intelligenz lernen: Sie lesen Milliarden von Seiten menschlicher Texte und absorbieren die Muster, Fakten und Geschichten, die Menschen geschrieben haben.

Der zweite Weg besteht darin, dem Roboter einen Live-Kompass und ein Paar Augen zu geben. Dies ermöglicht es dem Roboten, die Welt genau jetzt zu sehen, zu bemerken, ob eine Straße wegen Bauarbeiten gesperrt ist, oder zu erkennen, dass er falsch abgebogen ist. Dies ist der Unterschied zwischen dem Besitz eines statischen Datensatzes der Welt und einer Live-Verbindung zu ihr. Wissenschaftler debattieren schon lange darüber, ob eine KI Dinge wirklich „weiß“ oder ob sie nur eine meisterhafte Mimikry betreibt. In diesem Papier geht es nicht nur darum, ob die KI eine Karte besitzt; es geht darum, ob die KI einen Kompass besitzt. Es legt nahe, dass eine KI selbst dann, wenn sie eine perfekte Karte (Inhalt) hat, blind für Veränderungen in der realen Welt sein könnte, wenn ihr die Live-Routen fehlen, um ihre Arbeit zu überprüfen. Das Verständnis dieser Unterscheidung ist entscheidend, denn sie verrät uns, wann wir einer Antwort der KI vertrauen können und wann wir sie selbst überprüfen müssen.

---

Die große Idee des Papers: Der „Live-Wire“-Test

Brett Reynolds, der Autor dieses Papers, schlägt eine neue Art vor, auf Large Language Models (die superintelligenten KI-Chatbots, die wir heute nutzen) zu blicken. Er argumentt, dass wir aufhören müssen zu fragen: „Weiß diese KI die Wahrheit?“ und statfangen zu fragen: „Hat diese KI eine Live-Verbindung (Live Wire) zur Wahrheit?“

Stellen Sie sich eine KI wie einen sehr talentierten Koch vor, der jedes Rezept der Welt auswendig kennt. Wenn Sie ihn nach einem Schokoladenkuchen fragen, kann er die Zutaten, die Temperatur und die Backzeit perfekt beschreiben. Dies ist Grounding (Verankerung). Das Wissen des Kochs ist in den Millionen von Kochbüchern „verankert“, die er gelesen hat. Aber hier liegt der Haken: Wenn Sie den Koch fragen: „Ist der Ofen gerade wirklich heiß?“ oder „Hat der Bäcker heute Morgen das Rezept geändert?“, weiß der Koch dies vielleicht nicht. Er weiß nur, was in den Büchern stand, bevor er mit dem Lesen aufhörte. Er hat keine Live-Verbindung zur Küche.

Reynolds nennt diese fehlende Verbindung Corrective Control (Korrektive Kontrolle). Es ist die Fähigkeit, einen frischen Fehler zu bemerken und ihn während der Ausführung einer Aufgabe zu korrigieren.

• Derivative Answerability (Abgeleitete Antwortfähigkeit): Dies ist der Fall, wenn die KI die Dinge richtig macht, weil sie die Korrekturen übernommen hat, die Menschen in der Vergangenheit vorgenommen haben. Wenn die KI sagt: „Der Himmel ist blau“, dann ist sie richtig, weil Menschen diesen Fakt über Jahrhunderte hinweg in Büchern korrigiert haben. Die KI reitet auf den Coattails der menschlichen Wahrheit.
• Live Answerability (Live-Antwortfähigkeit): Dies ist der Fall, wenn die KI den Himmel selbst jetzt gerade prüfen kann. Wenn der Himmel aufgrund eines Sturms tatsächlich grau ist, sieht ein System mit Live-Antwortfähigkeit das Grau und aktualisiert seine Antwort.

Das Paper legt nahe, dass die meisten aktuellen KI-Konfigurationen wie der Koch mit dem perfekten Kochbuch, aber ohne Augen sind. Sie sind großartig darin, Geschichte zu rezitieren, aber sie scheitern oft, wenn sich die Welt ändert oder wenn sie einen spezifischen, frischen Fakt überprüfen müssen.

Die Fünf-Punkte-Prüfung für „Wahrheitsverfolgung“

Reynolds bricht genau herunter, was ein KI-System benötigt, um eine „Live-Verbindung“ zur Wahrheit zu haben. Er nennt dies ein Route Profile (Routenprofil). Stellen Sie sich die KI als ein Auto vor. Um sicher zu fahren, braucht es nicht nur eine Karte; es braucht einen Fahrer, der die Straße sieht. Reynolds listet fünf Merkmale auf, die bestimmen, ob das Auto tatsächlich fahren kann:

1. Target Access (Zielzugriff): Kann das System das Ding tatsächlich sehen, über das es spricht? (Hat das Auto eine Windschutzscheibe?)
2. Detectability (Erkennbarkeit): Kann es bemerken, wenn etwas nicht stimmt? (Sieht der Fahrer das rote Licht?)
3. Checking-Route Independence (Unabhängigkeit der Prüfroute): Ist die Person, die die Arbeit prüft, eine andere als die Person, die die Arbeit ausführt? (Wenn der Fahrer auch derjenste ist, der die Straßenschilder malt, könnte er sich selbst täuschen. Man braucht ein zweites Paar Augen.)
4. Attribution (Attribution/Zuschreibung):ung Kann das System genau herausfinden, was schiefgelaufen ist? (Hat der Fahrer das rote Licht gesehen oder hat er nur eine Erschütterung gespürt?)
5. Effective Uptake (Effektive Umsetzung): Kann das System sein Verhalten tatsächlich basierend auf dem, was es gefunden hat, ändern? (Wenn der Fahrer das rote Licht sieht, aber weiterfährt, weil die Bremsen defekt sind, hat das System versagt.)

Wenn eine KI alle fünf Punkte besitzt, verfügt sie über Corrective Control. Sie kann einen frischen Fehler bemerken und ihn beheben. Wenn sie nur einige besitzt, oder wenn die „Prüfung“ nur eine Wiederholung derselben alten Fehler ist, spielt es keine Rolle, wie intelligent sie wirkt; sie kann die Wahrheit nicht in Echtzeit verfolgen.

Was passiert, wenn man Werkzeuge hinzufügt?

Das Paper untersucht verschiedene Wege, wie Menschen versuchen, KI zu verbessern, etwa indem sie ihr Zugang zum Internet (Retrieval/Abruf) gewähren, ihr erlauben, einen Taschenrechner zu benutzen (Tools/Werkzeuge) oder ihr ermöglichen, Bilder zu sehen (Multimodaler Input). Reynolds argumentt, dass diese Werkzeuge nur dann helfen, wenn sie eine spezifische Lücke in der Fünf-Punkte-Checkliste füllen.

• Retrieval (Die Bibliothek): Wenn Sie der KI einen Live-Link zu einer Bibliothek geben, wird sie besser darin, alte Fakten zu finden. Aber wenn die Bibliothek voll mit veralteten Büchern ist, steckt die KI immer noch in der Vergangenheit fest. Es hilft bei der „Zugriff auf Datensätze“, aber es hilft nicht, wenn die KI ein physisches Objekt messen muss.
• Tools (Der Taschenrechner): Wenn die KI Code ausführen oder einen Taschenrechner benutzen kann, wird sie besser in Mathematik. Aber wenn das Werkzeug defekt ist oder die KI das falsche Werkzeug wählt, rät sie immer noch.
• Multimodal (Die Augen): Wenn die KI ein Bild sehen kann, wird sie besser darin, das zu beschreiben, was vor ihr liegt. Aber ein Bild zu sehen bedeutet nicht, dass sie die Temperatur des Objekts im Bild messen kann.

Das Paper legt nahe, dass das bloße Hinzufügen von mehr Werkzeugen eine KI nicht automatisch „schlauer“ oder „wahrhaftiger“ macht. Es hilft nur, wenn das spezifische Werkzeug zum spezifischen Job passt. Wenn Sie eine KI bitten, eine Flüssigkeit zu messen, wird ihr eine Bibliothek (Retrieval) nicht helfen; Sie brauchen ein Lineal (Tool). Wenn Sie sie bitten, einen Sonnenuntergang zu beschreiben, wird ihr ein Lineal nicht helfen; Sie brauchen Augen (Multimodal).

Das „Oktopus“- und das „Izzy“-Problem

Das Paper nutzt zwei berühmte Gedankenexperimente, um seinen Punkt zu erklären.

• Der Oktopus: Stellen Sie sich einen Oktopus vor, der in einem Tank lebt und über ein Kabel mit zwei Inseln verbunden ist. Er kann die Menschen auf den Inseln sprechen hören, aber er kann sie weder sehen noch die Welt berühren. Er lernt, vorherzusagen, was sie sagen werden. Er kann exakt wie ein Mensch klingen, aber er hat keine Vorstellung davon, was die Worte in der realen Welt bedeuten.
• Izzy: Stellen Sie sich einen Menschen namens Izzy vor, der seit seiner Geburt in einem Raum mit einem reinen Textbildschirm eingesperrt ist. Izzy lernt alles aus dem Text auf dem Bildschirm. Izzy kann perfekt über die Welt sprechen, aber Izzy hat noch nie einen Baum gesehen oder Regen gespürt.

Reynolds argumentt, dass sowohl der Oktopus als auch Izzy zwar „Content“ (Inhalt) haben mögen (sie kennen die Wörter), aber ihnen die Corrective Control fehlt. Wenn sich die Welt ändert, können sie es nicht wissen. Sie sind an die „geerbte“ Wahrheit der Vergangenheit gebunden.

Das Fazit: Warum das wichtig ist

Das Paper behauptet nicht, dass KI „falsch“ oder unbrauchbar sei. Es schlägt vor, dass wir vorsichtig sein müssen, wie wir ihr vertrauen.

• Wenn die Aufgabe die Geschichte oder den Stil betrifft: Das „geerbte“ Wissen der KI (die Karte) reicht meistens aus. Sie kann eine großartige Geschichte schreiben oder alte Fakten zusammenfassen.
• Wenn die Aufgabe die reale Welt im Hier und Jetzt betrifft: Die KI braucht einen „Live-Wire“. Ohtl dieser Verbindung wird die KI vielleicht selbstbewusst das Falsche sagen, weil sie nur basierend auf alten Mustern rät.

Reynolds schlägt vor, dass wir nicht nur darauf schauen sollten, wie eloquent eine KI klingt. Wir sollten ihr Route Profile betrachten. Hat sie einen Live-Pfad zu den Fakten? Kann sie ihre eigene Arbeit überprüfen? Wenn wir diese Live-Routen nicht in unsere KI-Systeme einbauen, könnten wir sehr eloquente Antworten erhalten, die völlig von der Realität entkoppelt sind. Das Paper kommt zu dem Schluss, dass eine KI zwar „Content“ besitzen kann, das Besitzen von „Corrective Control“ jedoch eine separate, schwierigere Herausforderung darstellt, die spezifische architektonische Brücken zwischen der KI und der sich verändernden Welt erfordert.