COCORELI: Enforcing Execution Preconditions for Reliable Collaborative Instruction Following
Das Papier stellt COCORELI vor, eine modulare Architektur, die die Ausführungszuverlässigkeit gewährleistet, indem sie die Erkennung fehlender Informationen strukturell mit der Verhinderung von Aktionen koppelt und dadurch autonome Agenten daran hindert, Aufgaben auszuführen, bis Unterbestimmungen durch gezielte Klärung behoben sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bauen mit einem Freund eine komplexe Lego-Burg. Sie sind der Architekt, und Ihr Freund ist der Baumeister. Sie geben Anweisungen wie: „Lege einen roten Stein auf den blauen."
In der realen Welt gehen Sie vielleicht davon aus, dass Ihr Freund weiß, welcher rote Stein gemeint ist oder genau, was „auf" bedeutet. Doch in der digitalen Welt der KI-Agenten versucht die KI oft, die fehlenden Teile zu erraten, wenn Sie nicht jedes einzelne Detail spezifizieren. Sie könnte den falschen Stein auswählen oder ihn an die falsche Stelle setzen, und da sie so zuversichtlich in ihrer Vermutung ist, baut sie einen schiefen Turm. Sobald der Fehler gemacht ist, ist er schwer zu korrigieren.
Dieser Artikel stellt ein neues System namens COCORELI (was für Cooperative, Reconstitution & Execution of Language Instructions steht) vor, um dieses Problem zu lösen.
Das Kernproblem: Die „Raterei"-Falle
Aktuelle KI-Systeme sind wie übermäßig eifrige Praktikanten. Wenn Sie sie bitten, „einen Termin zu buchen", und Sie vergessen zu sagen, wen Sie einladen sollen, erfinden sie möglicherweise einen Namen oder wählen eine zufällige Person aus einer Liste aus. Sie erkennen, dass Informationen fehlen, halten aber nicht inne; sie füllen die Lücke einfach mit einer Vermutung und fahren fort. Dies führt zu „Halluzinationen" (Erfindungen) und unsicheren Aktionen.
Die Autoren argumentieren, dass das Erkennen eines fehlenden Informationsteils nicht ausreicht. Sie benötigen ein System, das die Aktion physisch blockiert, bis der fehlende Teil gefunden ist.
Die Lösung: Die Analogie des „Sicherheits Schlosses"
Stellen Sie sich COCORELI als eine Baustelle mit einem strengen Sicherheitsschloss vor.
- Der Bauplan (Strukturierte Darstellung): Anstatt nur Ihre Worte zu lesen, übersetzt COCORELI Ihre Anweisung in einen strengen digitalen Bauplan (eine JSON-Datei). Jeder Teil des Bauplans hat eine Position: Farbe, Ort, Typ.
- Die fehlende Position: Wenn Sie sagen: „Lege einen Stein", hat der Bauplan eine Position für „Farbe", die leer ist.
- Das Sicherheitsschloss: In COCORELI verfügt die Maschine über ein Sicherheitsschloss, das besagt: „Wenn eine Position leer ist, darf sich die Maschine nicht bewegen." Sie verweigert buchstäblich den Bau.
- Die Klärung: Anstatt zu raten, stoppt das System sofort und fragt Sie: „Welche Farbe soll der Stein haben?"
- Die Freigabe: Erst nachdem Sie geantwortet haben und die Position gefüllt ist, wird das Sicherheitsschloss freigegeben und die Aktion ausgeführt.
Funktionsweise in der Praxis
Der Artikel testete dies in einem kontrollierten 3D-Bauspiel (genannt ENVIRONMENT), in dem Fehler dauerhaft sind. Wenn Sie einen Block an die falsche Stelle setzen, kollabiert die Struktur, und Sie können es nicht rückgängig machen.
Sie verglichen COCORELI mit anderen beliebten KI-Methoden:
- Chain-of-Thought (CoT): Wie ein kluger Schüler, der intensiv nachdenkt, aber dennoch die Antwort errät, wenn er sich nicht sicher ist.
- Agentic Frameworks: Wie ein Team von Arbeitern, die miteinander sprechen, aber dennoch fortfahren, wenn sie glauben, genügend Informationen zu haben.
- COCORELI: Der strenge Vorarbeiter, der keinen einzigen Stein verlegen lässt, bis jedes Detail bestätigt ist.
Die Ergebnisse:
- Wenn die Anweisungen perfekt waren, schnitten alle gut ab.
- Wenn den Anweisungen Details fehlten (unvollständig spezifiziert), blieben die anderen Systeme beim Raten und bauten falsche Strukturen.
- COCORELI riet niemals. Es hielt inne, bat um Klärung und baute dann die exakt richtige Struktur. Es eliminierte „halluzinierte" Aktionen in diesen Tests vollständig.
Die „Kopieren-Einfügen"-Superkraft (Abstraktion)
Der Artikel zeigt auch, dass COCORELI ein Muster lernen und wiederverwenden kann.
- Szenario: Sie bauen eine komplexe „Schädel"-Form mit 62 Teilen.
- Die Anfrage: Später sagen Sie: „Baue mir einen weiteren Schädel, aber mache ihn blau und setze ihn dorthin."
- Das Ergebnis: COCORELI braucht nicht, dass Sie alle 62 Schritte erneut auflisten. Es erinnert sich an die Struktur des Schädels (den „Bauplan") und tauscht lediglich Farbe und Ort aus. Andere Systeme hatten Schwierigkeiten, das komplexe Muster zu behalten, ohne jeden einzelnen Schritt erneut aufzulisten.
Das Fazit
Der Artikel behauptet, dass KI, um bei der Zusammenarbeit mit Menschen wirklich zuverlässig zu sein, nicht einfach darauf angewiesen sein darf, „klüger" zu werden oder besser zu raten. Wir müssen die Architektur (das Design des Systems) so ändern, dass es unmöglich ist, dass die KI auf unvollständigen Informationen handelt.
COCORELI beweist, dass wir durch die Behandlung fehlender Informationen als „Stoppschild" statt als „Hinweis zum Raten" Agenten bauen können, die sicher, zuverlässig und wirklich kollaborativ sind. Es geht nicht darum, dass die KI klüger ist; es geht darum, dass das System strenger ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.