🤖 machine learning

Every Response Counts: Quantifying Uncertainty of LLM-based Multi-Agent Systems through Tensor Decomposition

Die Arbeit stellt MATU vor, ein neues Framework, das durch Tensor-Zerlegung die Unsicherheit von LLM-basierten Multi-Agenten-Systemen quantifiziert, indem es gesamte Reasoning-Trajektorien analysiert, um die spezifischen Herausforderungen kaskadierender Unsicherheit, variabler Kommunikationspfade und unterschiedlicher Topologien zu bewältigen.

Ursprüngliche Autoren: Tiejin Chen, Huaiyuan Yao, Jia Chen, Evangelos E. Papalexakis, Hua Wei

Veröffentlicht 2026-04-13

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Tiejin Chen, Huaiyuan Yao, Jia Chen, Evangelos E. Papalexakis, Hua Wei

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stell dir vor, du hast ein Team aus vier sehr klugen, aber manchmal etwas verwirrten Robotern (den sogenannten „Multi-Agenten-Systemen"). Diese Roboter arbeiten zusammen, um ein komplexes Problem zu lösen, zum Beispiel eine schwierige Matheaufgabe oder eine medizinische Diagnose.

Das Problem ist: Manchmal machen diese Roboter Fehler. Und schlimmer noch: Ein kleiner Fehler am Anfang kann sich wie eine Lawine durch das ganze Team fortsetzen. Wenn Roboter A einen Fehler macht, versteht Roboter B das falsch, und Roboter C baut darauf eine völlig falsche Lösung auf. Am Ende geben sie dir eine Antwort, die sehr selbstbewusst klingt, aber total falsch ist.

Bisher gab es keine gute Methode, um zu sagen: „Hey, halt! Das Team ist sich hier nicht sicher, oder es läuft etwas schief." Die alten Methoden schauten nur auf das Endergebnis, wie ein Lehrer, der nur das Endergebnis einer Mathearbeit prüft, ohne den Lösungsweg anzusehen.

Die neue Erfindung: MATU

Die Autoren dieses Papers haben eine neue Methode namens MATU erfunden. Hier ist eine einfache Erklärung, wie sie funktioniert, mit ein paar kreativen Vergleichen:

1. Das Problem: Der chaotische Tanz

Stell dir vor, du filmst dieses Roboter-Team bei der Arbeit. Du lässt sie dieselbe Aufgabe 10-mal lösen.

Beim ersten Mal tanzen sie in einer bestimmten Reihenfolge.
Beim zweiten Mal tauschen sie zwei Plätze.
Beim dritten Mal macht einer eine Pause, und ein anderer springt ein.

Jede dieser „Filmaufnahmen" (die Forscher nennen sie Trajektorien) sieht etwas anders aus. Die alten Methoden versuchten, diese 10 Filme zu vergleichen, indem sie nur das letzte Bild (die Antwort) ansahen. Das ist wie zu versuchen, ein ganzes Ballett zu verstehen, indem man nur den letzten Applaus betrachtet.

2. Die Lösung: Der „Zerlegbare Würfel" (Tensor)

MATU macht etwas viel Clevereres. Es nimmt all diese 10 verschiedenen Filme und packt sie in einen riesigen, dreidimensionalen Datenwürfel (einen sogenannten Tensor).

Dimension 1: Wer ist der Roboter?
Dimension 2: Welcher Schritt in der Lösung ist das?
Dimension 3: Welcher der 10 Versuche ist das?

Da die Roboter manchmal schneller oder langsamer arbeiten (unterschiedliche Schrittzahlen), ist dieser Würfel nicht perfekt glatt, sondern hat an manchen Stellen „Lücken" oder ist unregelmäßig. Die Forscher nennen das einen „ragged tensor" (einen zackigen Würfel).

3. Der Zaubertrick: Das Puzzle zerlegen

Jetzt kommt der magische Teil. MATU nimmt diesen zackigen Würfel und versucht, ihn in seine Grundbausteine zu zerlegen (das nennen sie Tensor Decomposition).

Stell dir vor, du hast 10 verschiedene Versionen desselben Liedes, die von einer Band gespielt wurden.

Wenn die Band sicher spielt, klingen alle 10 Versionen fast gleich. Die Grundbausteine (die Melodie, der Rhythmus) sind sehr stabil.
Wenn die Band unsicher ist, klingt Version 1 wie Jazz, Version 2 wie Rock und Version 3 wie ein Stimmungswechsel. Die Grundbausteine passen nicht zusammen.

MATU versucht, den „perfekten Durchschnitt" aus allen 10 Versionen zu rekonstruieren.

Gelingt das gut? Dann war das Team sicher. Der Fehler (die Differenz zwischen Original und Rekonstruktion) ist klein.
Gelingt das schlecht? Dann war das Team chaotisch und unsicher. Der Fehler ist groß.

Warum ist das so toll?

Es sieht den ganzen Weg: Es ignoriert nicht die Zwischenschritte. Wenn ein Roboter in Schritt 3 einen Fehler macht, merkt MATU das sofort, auch wenn die Antwort am Ende zufällig richtig klingt.
Es ist flexibel: Egal, ob die Roboter im Kreis laufen, in einer Reihe stehen oder sich ständig neu organisieren (dynamische Topologien) – MATU passt sich an. Es ist wie ein万能-Tool, das jede Art von Teamstruktur verstehen kann.
Es ist ein Frühwarnsystem: Wenn MATU eine hohe „Unsicherheits-Score" anzeigt, weißt du: „Verlasse dich nicht auf diese Antwort!" Das ist extrem wichtig in Bereichen wie Medizin oder autonomem Fahren.

Zusammenfassung in einem Satz

MATU ist wie ein super-scharfer Filmkritiker, der nicht nur das Ende eines Films bewertet, sondern alle 10 verschiedenen Drehbücher vergleicht, um genau zu sagen, ob das Team hinter der Kamera sicher arbeitet oder ob sie gerade in Panik geraten sind.

Durch diese Methode können wir LLMs (Künstliche Intelligenzen) viel sicherer und zuverlässiger in der echten Welt einsetzen, ohne blindlings ihren Aussagen zu vertrauen.

1. Problemstellung

Große Sprachmodelle (LLMs) in Multi-Agenten-Systemen (MAS) übertreffen zwar einzelne Agenten bei komplexen Aufgaben, führen jedoch durch ihre komplexen Interaktionen zu erheblichen Zuverlässigkeitsproblemen. Die Unsicherheit in diesen Systemen entsteht nicht nur durch Fehler einzelner Agenten, sondern durch die dynamischen Kommunikationsprozesse, Rollenabhängigkeiten und den Konsensbildungsprozess. Ein kleiner Fehler in einem frühen Schritt kann sich kaskadierend durch das gesamte System fortpflanzen.

Bestehende Methoden zur Unsicherheitsquantifizierung (Uncertainty Quantification, UQ) stoßen hier an Grenzen, da sie primär für einzelne, einmalige Ausgaben entwickelt wurden. Sie scheitern an drei spezifischen Herausforderungen von MAS:

Mehrstufiges Reasoning: Herkömmliche Methoden analysieren oft nur das Endergebnis oder versuchen, gesamte Reasoning-Pfade als lange Texte zu concatenieren, was für Natural Language Inference (NLI)-Modelle aufgrund von Kontextgrenzen und der Unfähigkeit, Widersprüche zwischen verschiedenen Agenten zu unterscheiden, ungeeignet ist.
Vielfalt der Kommunikationspfade: Selbst bei gleicher Eingabe können Agenten in verschiedenen Durchläufen unterschiedliche Interaktionssequenzen und -längen wählen. Bestehende Methoden ignorieren diese Pfadvielfalt.
Vielfalt der Kommunikations-Topologien: MAS können statisch (z. B. Stern, Kette) oder dynamisch strukturiert sein. UQ-Methoden, die für feste Strukturen entwickelt wurden, lassen sich nicht leicht auf diese variierenden Topologien übertragen.

2. Methodik: MATU Framework

Die Autoren stellen MATU (Multi-Agent Tensor Uncertainty) vor, ein neues Framework, das Unsicherheit durch Tensor-Zerlegung quantifiziert. Der Kernansatz besteht darin, das gesamte Systemverhalten als hochdimensionales Objekt zu modellieren und Abweichungen von einem gemeinsamen Konsens zu messen.

Der Prozess gliedert sich in drei Hauptschritte:

Embedding für mehrstufiges Reasoning:
Statt nur den finalen Text zu analysieren, wird jeder Zwischenschritt eines Agenten (ob natürlicher Sprachtext oder Tool-Aufruf) in einen gemeinsamen latenten Raum eingebettet (z. B. mittels Qwen3-embedding-0.6B). Dies erzeugt für jeden Agenten in jedem Durchlauf eine Matrix von Embeddings, die semantische Ähnlichkeit unabhängig von der Oberflächenform oder Länge sicherstellt.
Tensor-Repräsentation für Inter-Agenten-Kommunikation:
Um die Variabilität der Kommunikationspfade und -längen zu erfassen, werden die Embedding-Matrizen aus mehreren Durchläufen ( $N$ Runs) und verschiedenen Agenten ( $K$ Agents) zu einem ragged Tensor (unregelmäßigem Tensor) zusammengefasst. Im Gegensatz zu Standard-Tensoren erlaubt diese Struktur unterschiedliche Längen ( $T_{j,k}$ ) für verschiedene Agenten und Durchläufe, ohne Daten zu verlieren.
Tensor-Zerlegung zur Quantifizierung:
Auf diesem ragged Tensor wird eine PARAFAC2-Zerlegung (CP-2) angewendet. Diese Methode ist speziell für unregelmäßige Tensor-Strukturen geeignet und sucht nach einer niedrigrangigen Approximation, die gemeinsame Muster über Schritte, Agenten und Durchläufe hinweg erfasst.
- Unsicherheitsmetrik: Die Unsicherheit wird durch den Rekonstruktionsfehler (Reconstruction Loss) gemessen. Wenn die Trajektorien inkonsistent sind (hohe Unsicherheit), lässt sich der Tensor schlecht durch wenige latente Faktoren approximieren, was zu einem hohen Fehler führt.
- Der finale Unsicherheitswert $U$ ist die Summe der Rekonstruktionsverluste über verschiedene Ränge $R$ .

3. Hauptbeiträge

Systematische Definition: Die Arbeit liefert die erste systematische Definition der Unsicherheitsquantifizierung für LLM-basierte MAS und identifiziert neue Unsicherheitsquellen durch Tool-Nutzung, mehrstufiges Reasoning und Inter-Agenten-Kommunikation.
MATU Framework: Entwicklung eines tensor-basierten Frameworks, das Unsicherheitssignale auf Antwort- und Durchlauf-Ebene integriert und eine ganzheitliche Schätzung ermöglicht.
Umfassende Evaluation: Umfassende Experimente über verschiedene Aufgaben (Mathematik, QA, Code-Generierung), Topologien (statisch/dynamisch) und Modelle (Open/Closed Source) belegen die Überlegenheit von MATU gegenüber bestehenden Baselines.

4. Ergebnisse

Die Evaluation wurde auf vier Datensätzen (MATH, MoreHopQA, MMLU, HumanEval) mit verschiedenen Agenten-Frameworks (Camel, AutoGen, AnyMac) und Modellen (GPT-4o, Qwen2.5, Llama3.1) durchgeführt.

Leistung: MATU übertrifft konsistent alle Baselines (einschließlich Eigv(Agre), P(true) und SAUP) in den Metriken AUROC (Area Under Receiver Operating Characteristic) und AUARC (Area Under Accuracy Rejection Curve).
- Bei statischen Designs (Camel, AutoGen) zeigte MATU signifikante Verbesserungen, da es das gesamte Reasoning-Verhalten erfasst, nicht nur die Endkonsistenz.
- Bei dynamischen Designs (AnyMac), wo die Interaktionssequenzen stark variieren, bewies MATU durch die Nutzung des ragged Tensors eine überlegene Anpassungsfähigkeit.
- In Szenarien mit Tool-Integration (HumanEval/Code) blieb MATU robust.
Ablationsstudien: Die direkte Anwendung der Tensor-Zerlegung auf Embeddings erwies sich als überlegen gegenüber distanzbasierten Methoden (Cosine Similarity, EMD). Die Wahl des Embedding-Modells (Qwen-0.6B) bot das beste Verhältnis zwischen Effizienz und Genauigkeit.
OOD-Erkennung: MATU konnte Out-of-Distribution-Szenarien (z. B. mathematische Prompts auf allgemeinen Wissensdaten) zuverlässig erkennen und zeigte eine klare Trennung zwischen in-Distribution und OOD-Daten, was Baselines wie SAUP nicht gelang.
Downstream-Anwendung: In einer Model-Selection-Aufgabe führte die Nutzung von MATU zur Auswahl des Modells mit der niedrigsten Unsicherheit zu einer höheren Gesamtgenauigkeit als zufällige Auswahl oder andere Unsicherheitsmetriken.

5. Bedeutung und Fazit

Die Arbeit stellt einen Paradigmenwechsel in der Bewertung von LLM-basierten Multi-Agenten-Systemen dar. Anstatt sich auf die Analyse einzelner Ausgaben oder semantischer Ähnlichkeiten zu beschränken, nutzt MATU die strukturelle Information des gesamten Reasoning-Prozesses.

Generalisierung: Durch die Verwendung von Tensor-Zerlegung ist das Framework unabhängig von der spezifischen Kommunikations-Topologie des Systems und kann auf statische wie dynamische Architekturen angewendet werden.
Interpretierbarkeit: Die latenten Faktoren der Zerlegung können genutzt werden, um spezifische Fehlerquellen (z. B. semantische Missverständnisse) statistisch zu lokalisieren.
Praktische Relevanz: MATU bietet nicht nur eine Metrik zur Risikobewertung, sondern dient als robustes Signal für kritische Downstream-Aufgaben wie die Auswahl des besten Modells oder die Ablehnung unsicherer Antworten in sicherheitskritischen Domänen (z. B. Medizin, Wissenschaft).

Zusammenfassend demonstriert MATU, dass die Quantifizierung von Unsicherheit in komplexen Multi-Agenten-Systemen durch die mathematische Modellierung der gesamten Interaktionsdynamik als Tensor signifikant verbessert werden kann.