Locally Coherent, Globally Incoherent: Bounding Compositional Incoherence in Multi-Component LLM Agents
Dieser Beitrag formalisiert und quantifiziert den Fehlermodus „lokal kohärent, global inkohärent" bei Multi-Komponenten-LLM-Agenten mittels eines zur Laufzeit berechenbaren kompositionellen Residuums und zeigt, dass lokale Kohärenz häufig keine globale Wahrscheinlichkeitskonsistenz gewährleistet, während aktuelle Minderungsmaßnahmen auf LLM-Seite wirkungslos sind, deterministische Projektion und sequenzielle Überwachung hingegen tragfähige Lösungen bieten.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Das Dilemma „Zu viele Köche"
Stellen Sie sich vor, Sie führen ein Restaurant, in dem Sie vier verschiedene Expertenköche eingestellt haben, um ein einziges, riesiges Bankett zu planen.
- Koch A erhält nur den Auftrag, die Vorspeisen zu planen.
- Koch B erhält nur den Auftrag, das Hauptgericht zu planen.
- Koch C erhält nur den Auftrag, den Dessert zu planen.
- Koch D erhält nur den Auftrag, die Getränke zu planen.
Jeder Koch ist ein Genie. Sie sind in ihrem eigenen Bereich völlig zuversichtlich. Koch A sagt: „Ich bin zu 80 % sicher, dass wir 50 Vorspeisen benötigen." Koch B sagt: „Ich bin zu 80 % sicher, dass wir 50 Hauptgerichte benötigen." Und so weiter.
Das Problem: Der Restaurantbesitzer (der „Agent") addiert einfach alle Zahlen zusammen. Aber da die Köche nicht miteinander gesprochen haben, planen sie möglicherweise versehentlich für 200 Personen, obwohl das Restaurant nur 100 Plätze bietet. Oder sie planen eine 100%ige Chance für Vorspeisen und eine 100%ige Chance für Hauptgerichte, obwohl die Speisekarte nur eines davon pro Tisch erlaubt.
In der Welt der KI nennt man dies „Lokal kohärent, global inkohärent".
- Lokal kohärent: Jedes KI-Modell (Koch) leistet bei seiner eigenen winzigen Aufgabe gute Arbeit.
- Global inkohärent: Wenn man ihre Antworten zusammenfügt, ergibt die gesamte Mathematik keinen Sinn. Die Wahrscheinlichkeiten summieren sich auf mehr als 100 % (oder weniger), was zu einem logischen Durcheinander führt.
Die Hauptentdeckung des Papers
Die Autoren stellten fest, dass selbst wenn jedes einzelne KI-Modell für sich genommen perfekt kalibriert und logisch ist, das Kombinieren dieser Modelle die Mathematik oft zerstört.
Sie nennen diese kaputte Mathematik einen „Kompositionellen Rest" (). Stellen Sie sich dies als einen „Müllmesser" vor.
- Wenn der Messer 0 anzeigt, ist die kombinierte Antwort perfekt.
- Wenn der Messer hoch anzeigt, ist die kombinierte Antwort logisch kaputt (z. B. die Behauptung, es gebe eine 150%ige Chance auf Regen).
Sie testeten dies an fast 2.000 verschiedenen Szenarien (wie die Vorhersage von Wahlsiegern, Sportergebnissen oder Tech-IPOs) unter Verwendung von vier verschiedenen KI-Modellen. Sie stellten fest, dass in 33 % bis 94 % der Fälle die kombinierte Antwort kaputt war, obwohl die einzelnen KI-Teile einwandfrei funktionierten.
Warum passiert das?
Das Paper erklärt, dass die KI-Modelle „blind" für das große Ganze sind.
- Der blinde Spezialist: Wenn Sie eine KI fragen: „Wie hoch ist die Wahrscheinlichkeit, dass die USA die Weltmeisterschaft gewinnen?", antwortet sie basierend auf ihrem Training.
- Der fehlende Kontext: Sie weiß nicht, dass Sie eine andere KI auch gefragt haben: „Wie hoch ist die Wahrscheinlichkeit, dass Brasilien gewinnt?" und „Wie hoch ist die Wahrscheinlichkeit, dass Deutschland gewinnt?"
- Das Ergebnis: Die USA-KI sagt 60 %, Brasilien sagt 60 % und Deutschland sagt 60 %. Die Summe beträgt 180 %. Das ist unmöglich. Die KI wusste nicht, dass sie Teil eines Teams war, bei dem die Summe 100 % ergeben muss.
Die Lösungen, die sie versuchten (und scheiterten)
Die Forscher versuchten, dies mit „weichen" Methoden zu beheben, die sozusagen den Köchen bessere Anweisungen geben:
- Abruf: Den Köchen erlauben, Fakten bei Google nachzuschlagen. (Gescheitert: Sie konnten sich immer noch nicht auf die Summe einigen).
- Bessere Prompts: Den Köchen sagen: „Denken Sie daran, Sie sind Teil eines Teams, und Ihre Antworten müssen sich zu 1 addieren." (Gescheitert: Sie machten immer noch Fehler).
- Die „Chef"-KI: Eine intelligente KI-Führungskraft, die alle Köche anhört und die Antworten umschreibt. (Gescheitert: Der Chef machte die Dinge oft schlimmer oder korrigierte die Mathematik nicht).
Das Fazit: Man kann dies nicht einfach dadurch beheben, dass man besser mit der KI spricht. Die KI-Modelle sind durch Design zu isoliert.
Die echte Lösung: Der „Mathematische Korrektor"
Da man die Köche nicht reparieren kann, benötigen Sie einen Mathematischen Korrektor, der nach Abschluss der Arbeit der Köche eingreift.
Die Autoren schlagen eine Methode namens Hierarchische Boyle–Dykstra-Projektion vor.
- Die Analogie: Stellen Sie sich vor, die Köche übergeben Ihnen eine Zutatenliste, die 200 kg wiegt, aber Ihr LKW kann nur 100 kg tragen. Anstatt die Köche zu bitten, ihre Listen neu zu schreiben (was sie schlecht machen), verwenden Sie einfach eine Maschine, um das überflüssige Gewicht von der Spitze des Haufens abzuschneiden, bis es genau in den LKW passt, wobei die relativen Proportionen der Zutaten so nah wie möglich am Original bleiben.
- Wie es funktioniert: Das System nimmt die kaputte, über-100%-Antwort und verwendet eine strenge mathematische Formel, um sie auf eine gültige, logische Form (ein „Polytop") zu „projizieren". Es zwingt die Zahlen, die Gesetze der Wahrscheinlichkeit zu befolgen, ohne dass die KI darüber „nachdenken" muss.
Diese Methode ist deterministisch (sie funktioniert immer gleich) und schnell. Sie verwandelt eine kaputte, 150%ige Wahrscheinlichkeitsantwort sofort in eine perfekte 100%-Antwort.
Warum sollten Sie sich dafür interessieren? (Der „Regret"-Faktor)
Das Paper zeigt, dass dies nicht nur ein theoretisches Mathematikproblem ist; es kostet bei der Entscheidungsfindung echtes Geld.
- Wenn Sie ein Wettender oder Entscheidungsträger sind, der diese KI-Agenten verwendet, führt eine kaputte Antwort zu Regret (Bereue). Sie könnten auf ein Pferd setzen, von dem die KI sagt, es habe eine 60%ige Chance, aber da die Mathematik der KI kaputt war, war diese 60% eigentlich eine Lüge.
- Durch die Verwendung ihres „Mathematischen Korrektors" zeigten sie, dass man Geld sparen kann (gemessen in „nats", einer Einheit für Informationsgewinn), weil man aufhört, Wetten auf unmöglicher Mathematik zu basieren.
Zusammenfassung in einem Satz
Wenn Sie mehrere KI-Modelle bitten, Teile eines großen Rätsels zu lösen, geben sie oft Antworten, die nicht zusammenpassen; der beste Weg, dies zu beheben, besteht nicht darin, sie zu bitten, sich mehr anzustrengen, sondern ein mathematisches „Zuschneidewerkzeug" zu verwenden, um ihre Antworten vor der Verwendung zum Sinn zu zwingen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.