🤖 AI

From Sequence to Structure: Relational Uncertainty Propagation for LLM Agents

Dieses Paper führt RUPA ein, ein Framework zur Unsicherheitsquantifizierung auf Trajektorienebene, das Ausführungshistorien als gerichtete Graphen modelliert, um Unsicherheit über relationale Abhängigkeiten zu propagieren, wodurch es bestehende Methoden bei der Erkennung langfristiger Fehlerakkumulation übertrifft und die Zuverlässigkeit von LLM-Agenten in komplexen interaktiven Umgebungen verbessert.

Ursprüngliche Autoren: Zhengzhao Ma. Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

Veröffentlicht 2026-08-18

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhengzhao Ma. Boxi Cao, Yaojie Lu, Hongyu Lin, Xianpei Han, Le Sun

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

In der sich schnell entwickelnden Welt der künstlichen Intelligenz ist eine neue Generation von Software entstanden, die mehr kann, als nur Fragen zu beantworten oder Texte zu schreiben. Diese Systeme, bekannt als autonome Agenten, sind darauf ausgelegt, eigenständig zu handeln. Sie können ein komplexes Ziel in kleinere Schritte unterteilen, digitale Werkzeuge nutzen, um Informationen zu sammeln, und mit Computerumgebungen interagieren, um Probleme zu lösen, die Dutzende oder sogar Hunderte von Entscheidungen erfordern. Betrachten Sie sie als digitale Mitarbeiter, die in der Lage sind, das Internet zu navigieren, Code zu schreiben oder Daten zu verwalten, ohne ständige menschliche Aufsicht. Doch während diese Agenten immer schwierigere Aufgaben übernehmen, stellt sich eine kritische Frage: Woher können wir wissen, ob sie kurz davor stehen, einen Fehler zu begehen? Im Gegensatz zu einem einfachen Textgenerator, der vielleicht einen einzelnen falschen Satz produziert, ist das Versagen eines Agenten oft ein langsamer Prozess. Ein kleiner Fehler, der früh in einer langen Kette von Argumentationen gemacht wird, kann sich vorwärts ausbreiten, spätere Schritte verzerren und zu einem vollständigen Zusammenbruch des Endergebnisses führen. Damit diese Systeme in der realen Welt vertrauenswürdig sind, benötigen Entwickler eine Möglichkeit, das Risiko eines Fehlers zu messen, während er geschieht, und nicht erst im Nachhinein.

Forscher versuchen schon lange, Systeme zu bauen, die erkennen können, wenn ein Modell unsicher ist. Traditionelle Methoden schauen meist auf die unmittelbare Ausgabe des Computers und prüfen, wie sicher sich das Modell bei dem nächsten Wort fühlt, das es gleich generieren wird. Dieser Ansatz funktioniert gut für kurze Aufgaben, versagt jedoch, wenn sich die Aufgabe über einen langen Zeitraum erstreckt. Das Problem ist, dass diese Methoden jeden Schritt als isoliertes Ereignis behandeln und die Historie ignorieren, wie der Agent dorthin gelangt ist. Sie übersehen die subtilen Verbindungen zwischen einer Entscheidung, die vor zehn Schritten getroffen wurde, und der aktuellen Aktion. Wenn ein Agent zu Beginn eine Benutzeranfrage missversteht, sieht diese anfängliche Verwirrung im Moment vielleicht noch nicht wie ein Fehler aus, kann aber dazu führen, dass das gesamte Projekt später vom Kurs abkommt. Aktuelle Werkzeuge sind wie ein Fahrer, der nur auf die Straße direkt vor dem Auto schaut und dabei übersieht, dass vor Meilen eine falsche Abzweigung genommen wurde, die letztlich in eine Sackgasse führen wird.

Um dies zu lösen, hat ein Team von Forschern der Chinesischen Akademie der Wissenschaften ein neues Framework namens RUPA entwickelt. Anstatt die Arbeit eines Agenten als einfache Liste von Schritten zu betrachten, bilden sie den gesamten Prozess als ein Netzwerk verbundener Ereignisse ab. In diesem System ist jede Aktion, jede Werkzeugnutzung und jedes Feedback ein Knoten in einem Graphen, und die Linien, die sie verbinden, repräsentieren die logischen Beziehungen zwischen ihnen. Die Forscher fanden heraus, dass Fehler oft entlang dieser spezifischen Verbindungen wandern. Durch den Aufbau dieser Karte kann das System nachverfolgen, wie Unsicherheit wächst und sich durch die Historie des Agenten bewegt. Es berechnet einen Risiko-Score für den aktuellen Moment, indem es nicht nur auf die unmittelbare Konfidenz des Modells schaut, sondern auch auf die Zuverlässigkeit des Pfades, der zu ihm geführt hat. Wenn ein früher Schritt wackelig war, erkennt das System, dass der aktuelle Schritt auf einem schwachen Fundament aufgebaut ist, selbst wenn der aktuelle Schritt selbst sicher erscheint.

Das Team testete diesen Ansatz bei einer Vielzahl anspruchsvoller Aufgaben, darunter komplexe Software-Engineering-Probleme, Terminal-basierte Computing-Herausforderungen und offene Problemlösungsszenarien. Sie führten diese Tests mit sechs verschiedenen großen Sprachmodellen durch, die von kleineren bis hin zu sehr großen Systemen reichen. Die Ergebnisse zeigten, dass diese neue Methode deutlich besser darin war, Probleme zu erkennen als bestehende Techniken. In einem Testlauf verbesserte das neue System die Fähigkeit, Ausfälle zu detektieren, um eine spürbare Marge gegenüber den besten bisherigen Methoden. Viel wichtiger war, dass es potenzielle Fehler viel früher im Prozess identifizieren konnte. Während ältere Methoden oft erst gegen Ende realisierten, dass etwas schiefgelaufen war, konnte dieser neue Ansatz bereits nach wenigen Schritten Gefahr signalisieren und dem System die Chance geben, den Kurs zu korrigieren, bevor die Aufgabe ruiniert wurde.

Die Forscher demonstrierten auch, dass dieses bessere Verständnis von Risiko genutzt werden kann, um die Agenten besser arbeiten zu lassen. Wenn das System die Wahl zwischen mehreren möglichen Aktionen hatte, konnte es die Risiko-Scores nutzen, um die sicherste Option zu wählen. In diesen Versuchen schlossen die Agenten, die von dieser neuen Methode geleitet wurden, mehr Aufgaben erfolgreich ab als jene, die durch traditionelle Konfidenzmaße geleitet wurden. Die Studie legt nahe, dass der Schlüssel zu zuverlässiger künstlicher Intelligenz nicht nur darin besteht, den gegenwärtigen Moment zu betrachten, sondern die Struktur der Reise zu verstehen. Indem wir die Beziehungen zwischen jedem Schritt eines Agenten abbilden, können wir sehen, wie sich kleine Unsicherheiten zu großen Problemen summieren. Dieser Ansatz bietet einen praktischen Weg, um Agenten zu bauen, die nicht nur fähig, sondern auch vertrauenswürdig sind – fähig, komplexe Umgebungen zu navigieren, ohne sich zu verirren.

Technisches Resümee: Relational Uncertainty Propagation for LLM Agents (RUPA)

Problemstellung

Eine zuverlässige Unsicherheitsquantifizierung (Uncertainty Quantification, UQ) ist eine kritische Voraussetzung für den Einsatz von Large Language Model (LLM) Agenten in komplexen, langfristigen interaktiven Umgebungen. Während bestehende UQ-Methoden die Konfidenz für isolierte Vorhersagen oder Kurzkontext-Generierungen effektiv schätzen können, stoßen sie bei autonomen Agenten, die mehrstufige Argumentation, Werkzeugnutzung und Interaktionen mit der Umgebung ausführen, an ihre Grenzen.

Derzeitige Ansätze stützen sich überwiegend auf lokale Signale, wie etwa Token-Wahrscheinlichkeiten, prädiktive Entropie oder Konfidenz pro Schritt. Diese Methoden vernachlässigen weitgehend langfristige Abhängigkeiten, durch die Fehler über eine Ausführungstrajektorie hinweg akkumulieren und propagieren. Infolgedessen versagen sie oft dabei, Agentenfehler zu identifizieren, deren Ursprung mehrere Argumentations- oder Interaktionsschritte vor der endgültigen Antwort liegt. Darüber hinaus modellieren bestehende agentenorientierte UQ-Methoden, die die Historie einbeziehen, Trajektorien typischerweise als lineare Sequenzen und erfassen dabei nicht die inhärent relationale Natur der Abhängigkeiten zwischen Agentenschritten (z. B. wie ein früher Fehler die nachfolgende Werkzeugnutzung beeinflusst oder wie eine Feedbackschleife den Argumentationspfad verändert).

Methodik: RUPA-Framework

Die Autoren schlagen RUPA (Relational Uncertainty Propagation for Agents) vor, ein Trajektorien-basiertes UQ-Framework, das die Ausführung eines Agenten als strukturierte Abhängigkeitsgraph statt als lineare Sequenz modelliert. Die Methodik besteht aus drei Kernkomponenten:

1. Konstruktion des relationalen Trajektoriengraphen

RUPA konvertiert die Ausführungshistorie eines Agenten in einen gerichteten Graphen $G = (V, E)$ :

Knoten ( $V$ ): Repräsentieren Ereignisse der Ausführung, einschließlich Benutzeranweisungen, Assistant-Reasoning/Aktionen, Werkzeugaufrufen und Beobachtungen der Umgebung.
Kanten ( $E$ ): Erfassen die logischen Abhängigkeiten zwischen historischen Ereignissen und dem aktuellen Schritt. Das Framework identifiziert sieben spezifische Relationstypen:
- Sequential (Sequentiell): Unmittelbar vorangegangene Ausführung.
- Latest (Aktuellste): Jüngste Umgebung/Benutzeranweisungen.
- Repetition (Wiederholung): Aktionen mit ähnlichen Argumentationsmustern oder Werkzeugnutzungen.
- Progression (Fortschritt): Argumentationsschritte, die bestehende Lösungen erweitern.
- Parallel (Parallel): Alternative Argumentationszweige unter demselben Kontext.
- Feedback (Rückmeldung): Signale, die auf Ausführungsfehler oder instabile Ausgaben hindeuten.
- Goal Alignment (Zielausrichtung): Semantische Abhängigkeit zwischen der aktuellen Argumentation und dem ursprünglichen Aufgabenziel.

2. Relationsbewusste Unsicherheitspropagation

Im Gegensatz zur sequentiellen Aggregation propagiert RUPA die Unsicherheit durch die Graphkanten basierend auf ihrer strukturellen Bedeutung:

Lokale Unsicherheit ( $U_t$ ): Berechnet aus der prädiktiven Entropie für Assistant-Knoten oder beobachtbaren Interaktionssignalen (z. B. Ausführungsfehler, leere Antworten) für Umgebungsknoten.
Kantengewichte ( $w_{i,t}$ ): Gelernte Propagationsgewichte, die durch die Zuverlässigkeit, Stärke und zeitliche Distanz der Relation bestimmt werden. Strukturell wichtige Abhängigkeiten üben einen größeren Einfluss aus, während veraltete Zustände diskontiert werden.
Goal Alignment Score ( $Q_{i,t}$ ): Ein spezifischer Score, der die semantische Übereinstimmung zwischen dem aktuellen Schritt und dem Aufgabenziel schätzt.
Propagationsmechanismus: Das strukturelle Risiko ( $G_t$ ) wird berechnet, indem die Unsicherheit benachbarter historischer Knoten gewichtet durch deren Kantengewichte aggregiert wird. Dies wird mit einem exponentiell zerfallenden Unsicherheitsmomentum ( $m_t$ ) kombiniert, um langfristige Trends zu bewahren.
Finale Schätzung: Die Trajektorien-basierte Unsicherheit ( $R_t$ ) ist eine gewichtete Summe aus der lokalen Unsicherheit und der propagierten historischen Unsicherheit ( $H_t$ ):
$R_t = \lambda_u U_t + \lambda_h H_t$

3. Integration in die Agentenausführung

Das propagierte Signal wird mit trajektorienbasierten Verhaltensmerkmalen und Informationen zur Zielausrichtung kombiniert, um eine Konfidenzschätzung für die gesamte Agententrajektorie zu erzeugen. Diese Schätzung kann zur Risikoerkennung, adaptiven Resampling-Verfahren und Entscheidungsoptimierung verwendet werden.

Zentrale Beiträge

Identifikation relationaler Abhängigkeiten: Die Arbeit identifiziert, dass die Unsicherheit in LLM-Agenten eine Eigenschaft auf Trajektorienebene ist, die sich über relationale Strukturen entwickelt, und zeigt die Grenzen von Methoden auf, die Trajektorien als unabhängige Vorhersagen oder lineare Sequenzen behandeln.
RUPA-Framework: Der Vorschlag eines graphbasierten UQ-Frameworks, das die Ausführung eines Agenten als gerichteten relationalen Graphen darstellt und eine relationsbewusste Unsicherheitspropagation durchführt, um das Ausführungsrisiko zu schätzen.
Empirische Validierung: Umfangreiche Experimente über drei Benchmarks und sechs LLMs zeigen, dass die explizite Modellierung struktureller Abhängigkeiten entscheidend für eine zuverlässige UQ in langfristigen Agenten ist.

Experimentelle Ergebnisse

Die Autoren evaluierten RUPA auf drei repräsentativen Benchmarks: $\tau$ -2, Terminal-Bench-2 und GAIA, unter Verwendung von sechs Open-Source-LLMs mit einer Parameteranzahl von 26B bis 230B (einschließlich Qwen3.5/3.6, Gemma4-26B, Gemma4-31B, GPT-OSS-120B und MiniMax-M2.7).

Überlegene Unsicherheitsschätzung: RUPA übertraf konsistent bestehende UQ-Methoden (einschließlich Entropy, Sequence Probability, SAUP, Tracer und UProp) über alle Modellfamilien hinweg. Beispielsweise verbesserte RUPA beim MiniMax-M2.7-Modell den durchschnittlichen AUROC von 0.694 (stärkster Baseline) auf 0.718.
Frühzeitige Fehlererkennung: In Präfix-basierten Evaluationen identifizierte RUPA potenzielle Ausführungsfehler signifikant früher als bestehende Methoden. Der Vorteil war am ausgeprägtesten, wenn nur ein kleiner Bruchteil der Trajektorie beobachtet wurde, was darauf hindeutet, dass propagierte Unsicherheitssignale früh im Ausführungsprozess entstehen.
Verbesserung der Downstream-Performance: Wenn RUPA zur Steuerung der Agentenausführung eingesetzt wurde (Auswahl von Aktionen mit niedrigerer vorhergesagter Unsicherheit während des Multi-Sample-Decodings), verbesserte RUPA konsistent die Erfolgsraten der Aufgaben. Beispielsweise verbesserte sich die Genauigkeit auf Terminal-Bench-2 mit Qwen3.5-27B von 0.105 (Zufallsauswahl) auf 0.213 unter Anleitung durch RUPA.
Komplementäre Informationen: Eine Entropie-gepaarte Analyse zeigte, dass die graphbasierte Modellierung Signale liefert, die sich von der Token-basierten Konfidenz unterscheiden, insbesondere in Regionen mit niedriger Entropie, in denen traditionelle Methoden nicht zwischen erfolgreichen und gescheiterten Trajektorien unterscheiden können.

Bedeutung und Behauptungen

Das Paper argumentiert, dass die explizite Modellierung relationaler Abhängigkeiten entscheidend für eine zuverlässige Unsicherheitsquantifizierung in langfristigen LLM-Agenten ist. Die Autoren behaupten, dass RUPA eine praktische Grundlage für vertrauenswürdige Agentenausführung bietet, indem es:

Erfasst, wie Ausführungsrisiken über Interaktionsschritte hinweg akkumulieren und übertragen werden, anstatt Schritte als isolierte Ereignisse zu behandeln.
Eine frühere Erkennung von Fehlern ermöglicht, die aus zwischenzeitlichen Argumentations- oder Interaktionsschritten resultieren.
Die Zuverlässigkeit autonomer Agenten in vielfältigen Aufgaben – von Software Engineering bis hin zu komplexer Entscheidungsfindung – verbessert, indem präzisere Unsicherheitsschätzungen bereitgestellt werden, die Strategien wie Selbstkorrektur und Risikominderung leiten können.

Die Arbeit kommt zu dem Schluss, dass das Versagen traditioneller UQ-Methoden in Agenten-Settings nicht bloß eine Frage des Datenvolumens ist, sondern eine strukturelle Limitation in der Darstellung der Ausführungshistorie darstellt, und dass der Übergang von linearen Sequenzen zu relationalen Graphen ein notwendiger Schritt hin zu robusten autonomen Agenten ist.