More Is Not Always Better: Cross-Component Interference in LLM Agent Scaffolding
Dieser Artikel zeigt, dass das Hinzufügen weiterer Scaffolding-Komponenten zu LLM-Agenten häufig zu destruktiven Interferenzen zwischen den Komponenten führt, und belegt damit, dass die aufgaben spezifische Teilmengenauswahl dem konventionellen „All-in"-Ansatz überlegen ist und dass gierige Auswahlverfahren aufgrund häufiger Verletzungen der Submodularität unzuverlässig sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, das ultimative „Super-Gehirn" für ein Computerprogramm (einen KI-Agenten) zu bauen, um schwierige Rätsel zu lösen. Der Standardratschlag von Experten lautete immer: „Mehr ist besser." Die Idee dahinter ist, dass die KI, wenn man ihr einen Planer, einen Speicher, eine Reihe von Werkzeugen, eine Möglichkeit zum schrittweisen Denken und eine Methode zur Selbstprüfung gibt, perfekt funktionieren wird.
Dieser Artikel argumentiert, dass dieser Rat oft falsch ist. Tatsächlich kann das Aufhäufen zu vieler Funktionen die KI sogar dümmer machen.
Hier ist die Aufschlüsselung dessen, was die Forscher mit einfachen Analogien herausfanden.
1. Das Problem „Zu viele Köche"
Die Forscher testeten jede mögliche Kombination von fünf gängigen KI-Funktionen (Planung, Werkzeuge, Gedächtnis, Schlussfolgern und Selbstreflexion) an zwei verschiedenen Arten von Rätseln:
- HotpotQA: Wie ein Quizspiel, bei dem Sie durch viele Dokumente suchen müssen, um eine Antwort zu finden.
- GSM8K: Wie eine Matheaufgabe für die Hausaufgaben.
Sie stellten fest, dass bei kleineren KI-Modellen (der „8B"-Version) das Hinzufügen zusätzlicher Funktionen zum grundlegendsten und effektivsten Setup die Leistung tatsächlich beeinträchtigte.
- Die Analogie: Stellen Sie sich vor, Sie versuchen, eine spezifische Nadel im Heuhaufen zu finden.
- Das beste Setup: Sie verwenden einfach einen Magneten (das „Werkzeug"). Es funktioniert großartig.
- Das „Alles-in-einem"-Setup: Sie geben der Person, die den Magneten hält, eine Karte (Planung), ein Notizbuch (Gedächtnis), eine Taschenlampe (Schlussfolgern) und einen Trainer, der Anweisungen schreit (Reflexion).
- Das Ergebnis: Die Person gerät in Verwirrung. Die Karte lenkt sie vom Magneten ab; die Stimme des Trainers übertönt ihre eigenen Gedanken. Sie lassen die Nadel fallen. Der einfache Magnet allein war um 32 % besser als das ganze ausgefallene Kit.
2. Es hängt von der Aufgabe und der „Gehirngröße" ab
Der Artikel zeigt, dass sich die „beste" Anzahl von Funktionen je nachdem ändert, was die KI tut und wie intelligent die KI ist.
- Aufgabenabhängigkeit:
- Für das Quizspiel war das beste Setup nur eine Funktion: Das Werkzeug. Alles andere hinzuzufügen machte es schlechter.
- Für das Mathe-Spiel war das beste Setup drei Funktionen: Werkzeug + Schlussfolgern + Reflexion. Hier halfen der „Trainer" und das „schrittweise Denken" tatsächlich. Aber das Hinzufügen eines „Planers" oder eines „Gedächtnisses" machte es immer noch schlechter.
- Gehirngröße (Modellgröße):
- Kleine KI (8B): Sehr empfindlich. Das Hinzufügen zusätzlicher Funktionen verursacht viel Interferenz. Die Lücke zwischen dem einfachen Setup und dem „Alles-in-einem"-Setup war riesig (32 %).
- Mittlere KI (70B): Stärker. Sie kann mehr Funktionen bewältigen, aber das „Alles-in-einem"-Setup ist immer noch nicht das beste. Die Lücke schrumpfte auf 19 %.
- Sehr intelligente KI (Claude Haiku): So fähig, dass das Hinzufügen zusätzlicher Funktionen weder hilft noch viel schadet. Es ist wie ein Genie, das Ablenkungen ignorieren kann. Die Lücke verschwand, aber das einfache Setup war immer noch genauso gut wie das komplexe.
3. Warum passiert das? (Der „überfüllte Raum"-Effekt)
Die Forscher nennen dies Cross-Component Interference (CCI) (Interferenz zwischen Komponenten).
- Die Analogie: Stellen Sie sich einen kleinen, überfüllten Raum vor, in dem ein Team versucht, ein Problem zu lösen.
- Wenn Sie einen „Planer" hinzufügen, der ständig über den Zeitplan schreit, kann der „Werkzeugnutzer" die Anweisungen nicht hören.
- Wenn Sie eine „Gedächtnis"-Person hinzufügen, die alle ständig an alte Fakten erinnert, bleibt der „Schlussfolgerer" in der Vergangenheit stecken.
- Die Komponenten kämpfen um die Aufmerksamkeit der KI (ihre „Kontextfenster"). Anstatt zusammenzuarbeiten, stolpern sie übereinander.
4. Man kann nicht einfach „Hinzufügen und Prüfen"
Eine gängige Methode zum Aufbau dieser Systeme ist die „gierige Auswahl": Beginnen Sie mit nichts, fügen Sie eine Funktion hinzu, sehen Sie, ob sie hilft. Wenn ja, behalten Sie sie. Fügen Sie eine weitere hinzu. Wenn sie hilft, behalten Sie sie. Stoppen Sie, wenn sie nicht mehr hilft.
Der Artikel sagt, diese Methode ist unzuverlässig.
- Die Analogie: Stellen Sie sich vor, Sie bauen ein Sandwich.
- Brot + Schinken = Gut.
- Brot + Schinken + Käse = Besser.
- Brot + Schinken + Käse + Gurken = Schlechter (weil die Gurke den Schinken aufweicht).
- Aber, Brot + Schinken + Käse + Gurken + Senf = Wieder fantastisch!
- Wenn Sie bei der Phase „Schlechter" gestoppt hätten, weil die Gurke schadet, hätten Sie das fantastische Sandwich nie gefunden. Der Artikel stellte fest, dass eine Funktion manchmal allein schlecht ist, aber großartig, wenn sie mit bestimmten anderen kombiniert wird. Sie müssen die ganze Gruppe testen, nicht nur eins nach dem anderen hinzufügen.
5. Die Hauptaussage
Die Forscher führten über 32.000 Tests durch, um dies zu beweisen. Ihre Schlussfolgerung ist einfach:
Gehen Sie nicht davon aus, dass ein „voll beladenes" KI-Agenten-System das beste ist.
- Für viele Aufgaben ist ein einfacher Agent mit nur dem richtigen Werkzeug besser als ein komplexer Agent mit Planer, Gedächtnis und Reflexion.
- Das „beste" Setup hängt vollständig von der spezifischen Aufgabe und dem spezifischen KI-Modell ab, das Sie verwenden.
- Wenn Sie einfach alles an die Wand werfen, erzeugen Sie wahrscheinlich Rauschen, das die KI verwirrt, anstatt ihr zu helfen.
Kurz gesagt: Manchmal ist das einfachste Werkzeug das mächtigste. Mehr Teile hinzuzufügen lässt die Maschine nicht immer schneller laufen; manchmal lässt es sie einfach straucheln.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.