AgentCoMa: A Compositional Benchmark Mixing Commonsense and Mathematical Reasoning in Real-World Scenarios

Die Studie stellt mit AgentCoMa ein neues Benchmark vor, das zeigt, dass große Sprachmodelle bei der Kombination von Alltags- und mathematischem Denken im Vergleich zu menschlichen Annotatoren signifikant an Leistung verlieren und somit eine erhebliche Fragilität bei dieser Art von zusammengesetzter Schlussfolgerung aufweisen.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschung „AgentCoMa" auf Deutsch, verpackt in eine Geschichte und mit anschaulichen Vergleichen.

🧠 Die Geschichte vom „Zwei-Hirn-Problem"

Stellen Sie sich einen sehr schlauen Roboter vor, den wir „Künstliche Intelligenz" nennen. Dieser Roboter ist wie ein Allzweck-Werkzeugkasten. Er kann zwei Dinge besonders gut:

1. Der „Alltags-Experte" (Commonsense): Er weiß, dass man Teppiche nicht wischen sollte, sondern nur Fliesen. Er versteht, dass man im Winter eine Jacke anzieht. Das ist sein System 1 – schnell, intuitiv und auf Erfahrung basierend.
2. Der „Rechenkünstler" (Mathematik): Er kann blitzschnell Zahlen addieren, multiplizieren und Budgets berechnen. Das ist sein System 2 – langsam, logisch und rechenintensiv.

Bisher haben Forscher diese beiden Fähigkeiten separat getestet. Es war wie ein Sportler, der erst einen 100-Meter-Sprint läuft (Alltag) und dann einen Gewichtheber-Wettbewerb macht (Mathe). In beiden Disziplinen war der Roboter fast perfekt.

🚧 Das neue Experiment: AgentCoMa

Die Forscher von Imperial College London und anderen haben sich gedacht: „Aber im echten Leben muss man doch beides gleichzeitig machen!"

Sie haben einen neuen Test namens AgentCoMa erfunden. Stell dir vor, du bist ein persönlicher Einkaufsassistent. Deine Aufgabe lautet:

„Kaufe für einen Vegetarier Lebensmittel für die Woche ein. Achte darauf, dass alles pflanzlich ist (Alltagswissen!) und dass die Gesamtrechnung unter 50 Euro bleibt (Mathe!)."

Hier passiert das Problem: Der Roboter muss erst entscheiden, was er kaufen darf (Alltag), und dann rechnen, ob es passt (Mathe).

📉 Das überraschende Ergebnis: Der „Knick"

Das Ergebnis war schockierend:

• Wenn man den Roboter nur nach dem Einkauf fragt (Alltag): 90% Erfolg.
• Wenn man ihn nur nach der Rechnung fragt (Mathe): 90% Erfolg.
• Wenn man ihn beides zusammen machen lässt: Plötzlich nur noch 60% Erfolg!

Das ist wie ein Musiker, der Geige und Klavier einzeln perfekt spielt, aber sobald er versuchen soll, beides gleichzeitig zu spielen, die Töne verpasst.

Die Forscher nennen das die „Zusammensetzungs-Lücke" (Compositionality Gap). Der Roboter ist im echten Leben viel brüchiger (brittle), als man dachte. Er kann die Teile nicht zu einem Ganzen verbinden.

🔍 Warum ist das so? (Die Detektivarbeit)

Die Forscher haben den Roboter wie einen Arzt untersucht, um zu sehen, was in seinem Gehirn (den neuronalen Netzen) passiert. Sie fanden drei interessante Dinge heraus:

1. Der „Ein-Modus"-Fehler: Wenn der Roboter die kombinierte Aufgabe löst, schaltet er im Gehirn fast nur die Bereiche für das Rechnen ein. Die Bereiche für den Alltag bleiben dunkel und inaktiv. Es ist, als würde ein Koch, der ein Rezept liest, plötzlich nur noch an den Ofen denken und vergessen, welche Zutaten er eigentlich braucht.
2. Fehlende Übung: In den Trainingsdaten, mit denen diese Roboter gelernt haben, gab es fast keine Beispiele, bei denen man Alltagswissen und Mathe mischen musste. Es ist wie ein Schüler, der nur viele Mathe-Aufgaben und viele Geschichtstexte gelernt hat, aber nie eine Aufgabe bekam, die beides verbindet. Er weiß nicht, wie er die beiden Fähigkeiten verknüpfen soll.
3. Der „Halluzinations"-Effekt: Wenn der Roboter versucht, beides zu tun, verliert er den Bezug zur Realität. Er rechnet zwar weiter, aber die Zahlen passen nicht mehr zu den Fakten (z. B. rechnet er den Preis für Teppiche, die er eigentlich gar nicht kaufen darf).

🤖 Der Mensch im Vergleich

Das Schönste an der Studie ist der Vergleich mit Menschen. Wenn normale Menschen (ohne Mathe-Studium) diese Aufgaben lösen, schaffen sie es fast immer, sowohl den Alltags-Teil als auch den Mathe-Teil zu kombinieren. Für uns ist es natürlich; für die KI ist es wie ein Fremdsprachen-Test, den sie nie gelernt hat.

💡 Was bedeutet das für die Zukunft?

Diese Studie ist wie ein Warnleuchte. Sie zeigt uns, dass wir KI-Modelle nicht nur auf mehr Daten oder größere Rechenleistung trainieren müssen. Wir müssen sie speziell darauf trainieren, verschiedene Denkweisen zu mischen.

Solange wir das nicht tun, werden KI-Agenten im echten Leben (wie beim Einkaufen, Reisen oder im Labor) oft scheitern, obwohl sie in isolierten Tests brillant aussehen. AgentCoMa ist jetzt der neue „Prüfstein", an dem wir messen können, ob die KI wirklich lernfähig wird oder nur gut im Auswendiglernen ist.

Kurz gesagt: Die KI ist ein Genie, das aber vergisst, wie man die verschiedenen Teile seines Genies zusammenfügt. Und wir müssen ihr beibringen, genau das zu tun.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „AgentCoMa: A Compositional Benchmark Mixing Commonsense and Mathematical Reasoning in Real-World Scenarios" auf Deutsch:

1. Problemstellung

Große Sprachmodelle (LLMs) haben in den letzten Jahren hohe Genauigkeiten bei komplexen Aufgaben erreicht, die entweder reines Commonsense-Reasoning (Alltagswissen, Intuition) oder mathematisches Reasoning (logisches, systematisches Denken) erfordern. Bisherige Benchmarks testen diese Fähigkeiten jedoch meist isoliert oder kombinieren nur Schritte desselben Reasoning-Typs (z. B. mehrere mathematische Schritte).

In realen Anwendungen von LLM-Agenten (z. B. bei der Planung von Einkaufslisten, Reisebuchungen oder Laboraufgaben) müssen jedoch häufig unterschiedliche Reasoning-Typen kombiniert werden. Ein Agent muss beispielsweise erst durch Commonsense entscheiden, welche Artikel kaufbar sind (z. B. „Milch ist haltbar, Fleisch nicht"), und dann mathematisch die Gesamtkosten berechnen.

Das zentrale Problem ist, dass LLMs in der Lage sind, einzelne Schritte (Commonsense oder Mathematik) isoliert korrekt zu lösen, aber bei der Kombination dieser unterschiedlichen Reasoning-Typen in einer einzigen Aufgabe signifikant versagen. Es fehlt an einem kontrollierten Benchmark, um diese spezifische Schwäche bei der „gemischten Zusammensetzung" (mixed-type compositional reasoning) zu messen.

2. Methodik: Der AgentCoMa-Benchmark

Die Autoren stellen AgentCoMa vor, einen neuartigen Benchmark, der speziell entwickelt wurde, um die Fähigkeit von LLMs zu testen, Commonsense und Mathematik in realistischen Szenarien zu kombinieren.

• Aufgabenstruktur: Jede Frage besteht aus zwei aufeinanderfolgenden Schritten:
  1. Commonsense-Schritt: Der Agent muss basierend auf Alltagswissen eine Auswahl treffen (z. B. „Welche Gegenstände sind elektrisch und müssen in einen wasserdichten Schrank?").
  2. Mathematischer Schritt: Basierend auf der Entscheidung im ersten Schritt muss eine einfache arithmetische Operation durchgeführt werden (z. B. Summierung der Kosten oder Berechnung der Fläche).
• Szenarien: Die Aufgaben sind in fünf reale Agenten-Szenarien eingebettet: Hausarbeit, Online-Einkauf, Wissenschaftsexperimente, Smart Assistant und Reiseagentur.
• Datensatz: Der Datensatz umfasst 260 manuell von Experten erstellte Fragen (80 im Development-Set, 180 im Test-Set). Die Erstellung erfolgte ohne Hilfe von LLMs, um Verzerrungen zu vermeiden.
• Validierung: Ein mehrstufiger Validierungsprozess stellt sicher, dass jede Frage klare Kriterien erfüllt, dass die Schritte isoliert lösbar sind und dass keine Mehrdeutigkeiten bestehen.
• Vergleichsbenchmarks: Zur Einordnung wurden die Ergebnisse mit etablierten Benchmarks verglichen, bei denen beide Schritte vom gleichen Typ sind (Bamboogle für Commonsense, MultiArith für Mathematik).

3. Experimentelles Setup

• Modelle: Insgesamt wurden 61 verschiedene LLMs getestet, darunter Modelle unterschiedlicher Größen (1,5B bis 141B Parameter), Familien (Llama, Qwen, Phi, Mistral, DeepSeek) und Trainingsstrategien (Instruction-Tuned, Supervised Fine-Tuning für Reasoning, Reinforcement Learning für Reasoning).
• Auswertung: Die Modelle wurden mittels Few-Shot Chain-of-Thought (CoT) Prompting getestet. Die Genauigkeit wurde für drei Bedingungen gemessen:
  1. Isolierte Lösung des ersten Schritts (Commonsense).
  2. Isolierte Lösung des zweiten Schritts (Mathematik).
  3. Lösung der kombinierten (kompositorischen) Aufgabe.
• Human Performance: Eine Studie mit 45 nicht-experten Crowd-Workern diente als Vergleichsmaßstab für die menschliche Leistungsfähigkeit.

4. Wichtige Ergebnisse

Die Studie offenbart eine massive Diskrepanz zwischen der Leistung von LLMs bei isolierten Schritten und bei der Kombination:

• Der „Compositionality Gap": Während die getesteten LLMs im Median eine Genauigkeit von über 85% bei den einzelnen Schritten erreichen und in fast 75% der Fälle beide Schritte isoliert korrekt lösen, sinkt die Genauigkeit bei der kombinierten Aufgabe auf nur 42%.
• Durchschnittlicher Leistungsabfall: Der durchschnittliche Genauigkeitsverlust beträgt ca. 30%, wenn die Schritte kombiniert werden. Dies ist ein deutlich größerer Abfall als bei Benchmarks, die nur einen Reasoning-Typ kombinieren (wo der Gap oft vernachlässigbar ist).
• Menschlicher Vergleich: Nicht-experte Menschen lösen die kombinierten Aufgaben mit einer Genauigkeit von ca. 83%, was nahe an ihrer Leistung bei den einzelnen Schritten liegt. Dies zeigt, dass die Aufgabe für Menschen nicht schwieriger ist, wenn die Teilschritte verstanden werden.
• Fehleranalyse: Interessanterweise scheitern die Modelle bei der kombinierten Aufgabe oft dann, wenn sie die einzelnen Schritte isoliert richtig gelöst hätten. In ca. 74% der Fehlerfälle (bei den größeren Modellen sogar 83%) löst das Modell beide Teilaufgaben korrekt, wenn sie separat gestellt werden, liefert aber bei der Kombination ein falsches Endergebnis.
• Einfluss von Modellgröße und Training: Der Gap besteht unabhängig von der Modellgröße oder der Trainingsmethode (SFT vs. RL). Selbst fortschrittliche Reasoning-Modelle (wie o1 oder DeepSeek-R1) leiden unter diesem Problem.

5. Interpretierbarkeit und Ursachenanalyse

Um die Ursachen dieses Versagens zu verstehen, führten die Autoren tiefgehende Analysen durch:

• Trainingsdaten-Seltenheit: Durch Membership Inference Analysis (Min-K%++) wurde festgestellt, dass gemischte Reasoning-Aufgaben in den Trainingsdaten der Modelle relativ selten sind. Die Modelle sind also nicht an das Muster „Commonsense gefolgt von Mathematik" gewöhnt.
• Neuronale Aktivierung: Die Analyse der neuronalen Muster (QRNCA) zeigt, dass LLMs bei der kombinierten Aufgabe fast ausschließlich die Neuronen aktivieren, die für den mathematischen Schritt relevant sind. Die Neuronen für den Commonsense-Schritt bleiben weitgehend inaktiv, obwohl sie notwendig wären. Das Modell „vergisst" also den ersten Reasoning-Typ, sobald der zweite beginnt.
• Aufmerksamkeitskarten (Attention Maps): Die Analyse der Lookback-Attention zeigt, dass Modelle bei kombinierten Aufgaben weniger Aufmerksamkeit auf den Kontext legen als bei einzelnen Schritten. Dies führt zu kontextuellen Halluzinationen, bei denen das Modell plausible, aber inkonsistente Schlussfolgerungen zieht.
• Kontextlänge: Es wurde gezeigt, dass die reine Länge des Textes (durch das Hinzufügen von Kontext) nicht die Hauptursache für den Leistungsabfall ist.

6. Bedeutung und Fazit

• Fundamentale Fragilität: AgentCoMa deckt eine fundamentale Schwäche (Brittleness) in aktuellen LLMs auf: Sie können zwar einzelne Reasoning-Modi beherrschen, scheitern aber an der Integration unterschiedlicher Denkweisen in einem einzigen Workflow.
• Testumgebung: Der Benchmark bietet eine rigorose Testumgebung für zukünftige Verbesserungen in der Trainingsmethodik von Agenten, insbesondere für das Lernen von gemischten Reasoning-Patterns.
• Relevanz für Agenten: Da reale Agenten-Aufgaben per Definition gemischtes Reasoning erfordern, ist dies ein kritischer Engpass für den Einsatz von LLMs in der Praxis. Die Ergebnisse deuten darauf hin, dass reine Skalierung oder Reinforcement Learning allein dieses Problem nicht lösen, sondern spezifische Architekturen oder Trainingsdaten benötigt werden, die die Kombination von System-1- (Commonsense) und System-2- (Mathematik) Denken fördern.

Zusammenfassend demonstriert das Paper, dass die Fähigkeit zur Zusammensetzung (Compositionality) bei LLMs nicht einfach die Summe ihrer einzelnen Fähigkeiten ist, sondern eine neue, schwer zu lernende Kompetenz darstellt, die derzeit massiv unterrepräsentiert ist.