🤖 AI

QUIVER: A Formal Framework for Quantifying Perturbation Propagation and Bifurcation in Compound AI Systems

Dieser Beitrag stellt QUIVER vor, ein formales Framework, das die Ausbreitung von Störungen und strukturelle Bifurkation in zusammengesetzten KI-Systemen durch die Definition von Sensitivitätsmatrizen, Metriken zur Trajektorienabweichung und Bifurkationsschwellenwerten quantifiziert, die über diverse Produktions- und öffentliche Pipelines hinweg validiert werden, um unterschiedliche Sensitivitätsprofile aufzudecken und Evaluationsartefakte zu lokalisieren.

Ursprüngliche Autoren: Prashanti Nilayam, Sankalp Nayak

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Prashanti Nilayam, Sankalp Nayak

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreiben eine riesige, hochtechnologische Fabrik, in der ein Produkt nicht von einer einzigen Maschine hergestellt wird, sondern von einer Kette von Robotern, die jeweils ein Paket an den nächsten weitergeben. Einige Roboter sind intelligente KI-Assistenten, die Texte verfassen, andere sind Suchmaschinen, die Fakten finden, und wieder andere sind Entscheidungsträger, die wählen, welchen Weg das Paket als Nächstes nimmt. Dies ist es, was das Papier als „Compound AI System" (Zusammengesetztes KI-System) bezeichnet.

Das Problem, das die Autoren, Prashanti Nilayam und Sankalp Nayak, lösen, lautet: Wenn das Endprodukt falsch ist, weiß niemand, warum.

Hat der erste Roboter einen winzigen Fehler gemacht, der sich weiter unten in der Kette vergrößert hat? Hat eine kleine Änderung in den Anweisungen dazu geführt, dass das Paket einen völlig anderen Weg durch die Fabrik genommen hat? Oder ist der letzte Roboter einfach nur schlecht in seinem Job? Derzeit können Ingenieure nur das fertige Produkt sehen; sie können die „Geister" von Fehlern, die durch die Rohre wandern, nicht sehen.

Um dies zu beheben, haben sie ein Tool namens QUIVER entwickelt. Denken Sie an QUIVER als hochtechnologischen Röntgenstrahl und Durchflussmesser für diese KI-Fabriken. Es betrachtet nicht nur den Anfang und das Ende; es misst genau, wie eine winzige „Störung" oder „Perturbation" in der Ausgabe eines Roboters sich durch das gesamte System fortsetzt.

So funktioniert QUIVER, aufgeteilt in einfache Konzepte:

1. Der „Verstärker" versus der „Schwamm" (Sensitivitätsmatrix)

Stellen Sie sich Wasser vor, das durch Rohre fließt.

Verstärker: Manche Rohre sind wie ein Trichter, der einen winzigen Wassertropfen in eine Flut verwandelt. In der KI-Fabrik, wenn Roboter A einen kleinen Fehler macht und Roboter B (der nächste) diesen Fehler vergrößert, ist diese Verbindung ein Verstärker.
Schwämme: Andere Rohre sind wie ein Schwamm. Wenn Roboter A einen Fehler macht, absorbiert Roboter B ihn und korrigiert ihn, sodass der Fehler verschwindet.
QUIVERS Aufgabe: Es kartiert jede Verbindung in der Fabrik, um Ihnen zu sagen: „Dieses Rohr verstärkt Fehler" oder „Dieses Rohr absorbiert sie". Dies hilft Ingenieuren zu wissen, welche Verbindungen gefährlich sind.

2. Der „Umleitung"-Detektor (Bifurkation)

Manchmal führt eine kleine Änderung nicht nur dazu, dass das Produkt etwas schlechter wird; sie führt dazu, dass das Paket eine völlig andere Straße nimmt.

Stellen Sie sich eine Ampel vor, die normalerweise „Grün" sagt. Wenn das Licht nur ganz kurz flackert, könnte es plötzlich „Rot" sagen und das Auto auf eine völlig andere Straße schicken.
In der KI kann eine winzige Änderung in einem Wort dazu führen, dass das System einen Schritt überspringt, ein anderes Tool aufruft oder zum Anfang zurückkehrt.
QUIVERS Aufgabe: Es berechnet den „Bifurkationsschwellenwert". Dies ist die genaue Menge an „Rauschen" oder Fehler, die benötigt wird, um einen Schalter umzulegen und das System auf einen neuen Pfad zu schicken. Es sagt den Ingenieuren: „Wenn Sie den Prompt um dieses Maß ändern, wird das gesamte System umgeleitet."

3. Der „Dreiteilige" Fehlerbericht (Trajektorien-Divergenz)

Wenn zwei Durchläufe der Fabrik unterschiedliche Ergebnisse produzieren, zerlegt QUIVER den Unterschied in drei einfache Kategorien:

Wert-Drift: Der Pfad war derselbe, aber die finalen Wörter waren leicht unterschiedlich (wie zwei Personen, die dieselbe Geschichte schreiben, aber mit unterschiedlichen Adjektiven).
Strukturelle Drift: Der Pfad hat sich geändert. Das System hat einen anderen Weg genommen (wie ein Auto, das die Autobahn nimmt, und ein anderes, das Nebenstraßen nimmt).
Zähl-Drift: Das System hat zusätzliche Arbeit geleistet. Vielleicht musste es dreimal zurückkehren und es erneut versuchen, anstatt nur einmal.

QUIVER ist einzigartig, weil es Ihnen sagen kann, welche dieser drei Situationen eingetreten ist. Die meisten anderen Tools sagen nur: „Die Ausgabe ist unterschiedlich", ohne zu erklären, wie.

4. Der „Frische"-Check (Verteilungstreue)

Stellen Sie sich vor, Sie trainieren einen Roboter, Äpfel zu sortieren, indem Sie einen Korb mit perfekten, glänzenden roten Äpfeln verwenden. Aber in der realen Fabrik sind die Äpfel oft beschädigt oder grün.

Wenn Sie den Roboter nur an den perfekten Äpfeln testen, sieht er großartig aus. Aber in der realen Welt versagt er.
QUIVERS Aufgabe: Es prüft, ob die „Testäpfel" (die Daten, die zur Bewertung des Roboters verwendet werden) mit den „realen Äpfeln" (was der Roboter tatsächlich in der Produktion sieht) übereinstimmen. Wenn sie nicht übereinstimmen, markiert QUIVER dies als „Unfaithful" (ungetreu) und warnt die Ingenieure, dass ihre Testergebnisse sie täuschen.

Was sie herausfanden

Die Autoren testeten QUIVER an zwei realen Firmensystemen (System P und System Q) und einem öffentlichen Testfall. Sie fanden heraus:

Versteckte Gefahren: Manche Systeme wirken stabil, haben aber versteckte „Verstärker"-Rohre, bei denen winzige Fehler zu großen Ausfällen explodieren.
Unterschiedliche Ursachen, gleiches Ergebnis: Zwei Systeme könnten dieselbe Ausfallrate haben, aber aus völlig unterschiedlichen Gründen (das eine ist ein „Umleitungs"-Problem, das andere ein „Wert-Drift"-Problem). Sie brauchen QUIVER, um sie zu unterscheiden.
Der „Rauschen"-Ursprung: Sie konnten genau identifizieren, welcher Roboter das anfängliche „Rauschen" oder Störgeräusch erzeugte, anstatt nur den letzten Roboter zu beschuldigen.

Das Fazit

QUIVER ist ein formaler Rahmen, der Ingenieuren eine Karte dafür gibt, wie Fehler durch komplexe KI-Ketten wandern. Anstatt zu raten, warum eine KI-Anwendung kaputtgegangen ist, können sie nun genau messen, wo die „Welle" begann, wie sie wuchs und ob sie dazu führte, dass das System eine falsche Abzweigung nahm. Dies ermöglicht es ihnen, die spezifischen schwachen Glieder in der Kette zu reparieren, anstatt nur die endgültige Ausgabe zu patchen.

Technische Zusammenfassung: QUIVER – Ein formales Framework zur Quantifizierung der Ausbreitung von Perturbationen und der Bifurkation in zusammengesetzten KI-Systemen

1. Problemstellung

Zusammengesetzte KI-Systeme, die mehrere Aufrufe von Large Language Models (LLM) zu gerichteten Berechnungsgraphen verketten, die parallele Zweige, sequenzielle Stufen und bedingte Schleifen aufweisen, haben sich zur dominanten Architektur für produktive KI-Anwendungen entwickelt. Diese Systeme stellen jedoch eine einzigartige Evaluierungsherausforderung dar: Sie bestehen aus heterogenen Knoten, die Outputs im gemischten Modus erzeugen (von typisierten Schemata bis hin zu natürlicher Sprache), wobei die Knoten stochastisch sind und die Ausführungspfade bei geringfügigen Perturbationen strukturell divergieren können.

Aktuelle Evaluierungsmethoden leiden unter zwei primären Einschränkungen:

End-to-End-Evaluierung: Obwohl sie in der Lage ist, qualitativ minderwertige Antworten zu erkennen, kann sie den spezifisch verantwortlichen Knoten nicht lokalisieren oder unterscheiden, ob eine Qualitätsverschlechterung auf eine kontinuierliche Kette kleiner Perturbationen oder auf eine einzelne upstream-Änderung zurückzuführen ist, die einen Schwellenwert überschritten und den Ausführungspfad umgekehrt hat.
Knoten-spezifische Evaluierung: Das Testen von Komponenten isoliert gegen kuratierte Eingaben spiegelt oft nicht die tatsächliche Verteilung der Daten wider, die von upstream-Knoten empfangen werden, was zu Qualitätsschätzungen führt, die das Produktionsverhalten nicht vorhersagen. Dieses Problem wird in Pipelines mit bedingten Schleifen verschärft, wo kleine upstream-Perturbationen unterschiedliche Knoten aktivieren, verschiedene Schleifendurchläufe ausführen oder völlig unterschiedliches Wissen abrufen können.

Bestehende Optimierungs- und Evaluierungstools (z. B. DSPy, TextGrad) behandeln Knoten typischerweise unabhängig voneinander und verfügen über keine Mechanismen, um zu messen, wie sich Perturbationen über Kanten ausbreiten oder wo strukturelle Bifurkation auftritt.

2. Methodik: Das QUIVER-Framework

Die Autoren stellen QUIVER vor, ein formales Framework, das entwickelt wurde, um die Ausbreitung von Perturbationen in berechnungsgraph-strukturierten LLM-Pipelines zu messen. Das Framework definiert vier zentrale mathematische Objekte und Prinzipien:

2.1 Typisierter Pipeline-Graph und Distanzmetriken

Das System wird als Typisierter Pipeline-Graph $G = (V, E, T, F)$ modelliert, wobei Knoten stochastische Funktionen darstellen, die Eltern-Outputs auf Wahrscheinlichkeitsverteilungen über typisierte Output-Räume (Schemata, Listen, Kategorien, Text) abbilden.
Um Unterschiede zu messen, verwendet das Framework Typ-dispatchte Distanzmetriken. Anstatt einer einzigen Distanzfunktion wird eine gewichtete Summe von feldspezifischen Kernen verwendet, die für den Datentyp geeignet sind (z. B. normalisierte Editierdistanz für geordnete Listen, Jaccard-Distanz für Mengen, Kosinusdistanz für Text und binäre Indikatoren für kategorische Felder).

2.2 Sensitivitätsmatrix und Occurrence-Lift

Das Framework quantifiziert das Kantenverhalten durch zwei entkoppelte Maße:

Kantensensitivität ( $\sigma_{ij}$ ): Das erwartete Verhältnis der downstream-Outputdistanz zur upstream-Outputdistanz. Kanten werden als Verstärker ( $\sigma > 1$ ), Absorber ( $\sigma < 1$ ) oder unempfindlich ( $\sigma \approx 0$ ) klassifiziert. Das Framework weist darauf hin, dass die mittlere Sensitivität bimodale Verteilungen verschleiern kann, bei denen eine Kante für die meisten Eingaben als Absorber, aber für einen Minderheiten-Tail als Verstärker wirkt.
Occurrence-Lift ( $\lambda_{ij}$ ): Die Wahrscheinlichkeit, dass ein downstream-Drift auftritt, gegeben einen upstream-Drift, unabhängig von der Magnitude. Dies erfasst die Kopplungswahrscheinlichkeit und ergänzt die durch $\sigma$ erfasste Magnitude.

Die Pfadsensitivität wird multiplikativ entlang gerichteter Pfade definiert, was die Identifizierung von „Kaskadenverstärkern" ermöglicht, bei denen kleine upstream-Fehler durch den Graphen verstärkt werden.

2.3 Trajektorien-Divergenz und Bifurkation

Für Pipelines mit Schleifen und bedingten Zweigen zerlegt das Framework die Trajektorienvariation in drei Komponenten:

Wert-Drift ( $D_{output}$ ): Unterschiedliche Outputs entlang desselben strukturellen Pfades.
Strukturelle Pfad-Divergenz ( $D_{shape}$ ): Unterschiedliche interne Logik, Aktionen oder Knotenaktivierungen.
Iterationsanzahl-Divergenz ( $D_{iter}$ ): Unterschiedliche Anzahl von Schleifendurchläufen oder Unterstufen-Aufrufen.

Entscheidend definiert das Framework Bifurkationsschwellenwerte ( $\beta$ ), die die kleinste Perturbationsmagnitude an einem upstream-Knoten identifizieren, die eine strukturelle Änderung im Ausführungspfad verursacht. Dies unterscheidet zwischen kontinuierlicher Qualitätsverschlechterung und diskreten strukturellen Verschiebungen.

2.4 Verteilungstreue

Das Framework führt Verteilungstreue ein, um zu quantifizieren, wann knotenspezifische Evaluierungsdatensätze von Produktionsverteilungen abweichen. Es geht davon aus, dass die Evaluierung eines Knotens an Eingaben, die nicht der marginalen Verteilung seines upstream-Produzenten entsprechen (insbesondere an hochsensitiven Kanten), zu verstärkten Fehlern bei der Qualitätsschätzung downstream führt.

3. Experimentelle Validierung

Das Framework wurde an drei unterschiedlichen Topologien validiert:

System P: Eine komplexe Unternehmenspipeline mit paralleler Eingabe, Auswahl von Retrieval-Tools und einer bedingten Neuplanungsschleife ( $k_{max}=5$ ).
System Q: Eine Dual-Planner-Pipeline mit parallelem Reranking und Routing auf schnelle/langsame Pfade, ohne Neuplanungsschleife, aber mit bedingter Verzweigung.
DSPy Multi-Hop QA: Eine öffentliche, strikt sequenzielle Kette (HotpotQA/ColBERTv2) ohne Schleifen oder parallele Eingabe, die als Kontrolle für strukturelle Unterscheidbarkeit dient.

Die Studie nutzte über 8.200 instrumentierte Spuren (beobachtend und interventional), was zu mehr als 32.000 Paar-Vergleichen führte.

4. Hauptergebnisse

Unterschiedliche Sensitivitätsprofile: Das Framework zeigte, dass Architekturen völlig unterschiedliche Sensitivitätsprofile aufweisen. System Q wies mehrere Kanten mit Verstärkungsfaktoren bis zu 9 $\times$ auf, während System P eine Mischung aus Verstärkern und Absorbern mit bimodalen Verteilungen zeigte.
Mechanistische Unterscheidung: Identische Divergenzraten erwiesen sich als Ergebnis mechanistisch unterschiedlicher Muster. Beispielsweise erzeugten in System P verschiedene Perturbationstypen (z. B. Austausche von Rewritern vs. Signal-Umkehrungen) ähnliche strukturelle Divergenzraten (~37 %), folgten jedoch unterschiedlichen Kaskadensignaturen (z. B. „verstärken-dann-umkehren" vs. „direkte Kette"), die nur durch nodale Dekomposition unterscheidbar waren.
Prädiktive Bifurkation: Beobachtete Sensitivitätsprofile sagten erfolgreich Knoten voraus, die anfällig für Trajektorien-Bifurkation waren. In System P wurde der Planner als einzige intrinsische Bifurkationsquelle identifiziert, während interventional Experimente eine Bifurkationsschwelle des Rewriters ( $\hat{\beta} \approx 0,25$ ) aufzeigten, die unter natürlichen Bedingungen dormant war, aber unter Perturbation aktiviert wurde.
Invalidierung der Evaluierung: Die Analyse der Verteilungstreue lokalisierte „veraltete Evaluierungsartefakte" auf spezifische Knoten-Feld-Kategorien. In System P wurde festgestellt, dass eine Konfigurationsänderung, die die Retrieval-Tiefe erhöhte, goldene Evaluierungsdaten für Fragment-Referenz-Felder invalidierte, eine Diskrepanz, die für aggregierte Metriken unsichtbar war.
Generalisierung: Das Framework generalisierte erfolgreich auf die sequenzielle DSPy-Kette, identifizierte korrekt eine Null-Struktur-Divergenz (wie für eine Kette ohne Zweige erwartet) und isolierte Verstärker und Absorber, die mit der Topologie des Systems konsistent waren.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass QUIVER die ersten formalen Primitiven zur Messung von Ausbreitungsdynamiken bietet, die sowohl für die Komponenten-Evaluierung als auch für die End-to-End-Evaluierung unsichtbar sind. Seine Bedeutung liegt in:

Lokalisierung: Über die „Symptomerkennung" hinausgehend, die spezifischen Knoten und Kanten zu lokalisieren, die für Qualitätsverschlechterung oder strukturelles Versagen verantwortlich sind.
Strukturelles Bewusstsein: Die explizite Modellierung und Messung struktureller Pfaddivergenz und Bifurkationsschwellenwerte, die für Systeme mit bedingten Schleifen kritisch sind, aber von aktuellen Optimierungstools ignoriert werden.
Evaluierungsvalidität: Die Einführung von „Verteilungstreue", um zu erkennen, wann Evaluierungsdatensätze die Produktionsrealitäten nicht mehr widerspiegeln, und damit irreführende Qualitätsschätzungen zu verhindern.
Handlungsorientierte Diagnostik: Das Framework ermöglicht Praktikern, fragile Komponenten zu identifizieren (z. B. hochrauschende Knoten, die undichte Absorber speisen) und gezielte architektonische oder Prompt-Level-Änderungen vorzunehmen, wie durch Produktionsinterventionen demonstriert, die einen verrauschten Reranker entfernten und Planner-Prompts anpassten, um die Bifurkation zu reduzieren.

Die Autoren betonen, dass das Framework für seine Kernmessungen keine Hilfsmodelle (wie LLM-Richter) benötigt, sondern sich stattdessen auf typ-dispatchte Distanzmetriken und Standardregression auf Produktionsdaten stützt. Die Sensitivitätsmatrix ist am aktuellen Betriebspunkt lokal gültig und erfordert nach signifikanten Konfigurationsänderungen eine Neuberechnung.