🤖 AI

QUIVER: A Formal Framework for Quantifying Perturbation Propagation and Bifurcation in Compound AI Systems

Dit artikel introduceert QUIVER, een formeel raamwerk dat verstoringpropagatie en structurele bifurcatie in samengestelde AI-systemen kwantificeert door sensitiviteitsmatrices, trajectdivergentiemetrieken en bifurcatiedrempels te definiëren, die worden gevalideerd over diverse productie- en publieke pijplijnen om onderscheidende sensitiviteitsprofielen te onthullen en evaluatieartefacten te lokaliseren.

Oorspronkelijke auteurs: Prashanti Nilayam, Sankalp Nayak

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Prashanti Nilayam, Sankalp Nayak

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, high-tech fabriek runt waar een product niet door één machine wordt gebouwd, maar door een keten van robots, die elk een pakketje aan de volgende doorgeven. Sommige robots zijn slimme AI-assistenten die tekst schrijven, anderen zijn zoekmachines die feiten vinden, en sommige zijn besluitvormers die kiezen welke route het pakketje als volgende neemt. Dit is wat het paper een "Compound AI System" noemt.

Het probleem dat de auteurs, Prashanti Nilayam en Sankalp Nayak, oplossen, is dit: Wanneer het eindproduct verkeerd uitkomt, weet niemand waarom.

Heeft de eerste robot een kleine fout gemaakt die zich verderop in de keten heeft opgeblazen? Heeft een kleine wijziging in de instructies ervoor gezorgd dat het pakketje een volledig andere route door de fabriek nam? Of is de laatste robot gewoon slecht in zijn werk? Op dit moment kunnen ingenieurs alleen het eindproduct zien; ze kunnen de "geesten" van fouten die door de leidingen reizen, niet zien.

Om dit op te lossen, hebben ze een tool gebouwd die QUIVER heet. Denk aan QUIVER als een high-tech röntgenfoto en stroommeter voor deze AI-fabrieken. Het kijkt niet alleen naar het begin en het einde; het meet precies hoe een kleine "stoot" of "perturbatie" in de output van één robot door het hele systeem golft.

Hier is hoe QUIVER werkt, opgesplitst in eenvoudige concepten:

1. De "Versterker" versus de "Spons" (Sensitiviteitsmatrix)

Stel je water voor dat door leidingen stroomt.

Versterkers: Sommige leidingen zijn als een trechter die een kleine druppel water verandert in een vloedgolf. In de AI-fabriek, als Robot A een kleine fout maakt en Robot B (de volgende) maakt die fout groter, dan is die verbinding een Versterker.
Sponzen: Andere leidingen zijn als een spons. Als Robot A een fout maakt, absorbeert Robot B deze en lost het op, zodat de fout verdwijnt.
De Taak van QUIVER: Het in kaart brengt van elke verbinding in de fabriek om je te vertellen: "Deze leiding versterkt fouten," of "Deze leiding absorbeert ze." Dit helpt ingenieurs te weten welke verbindingen gevaarlijk zijn.

2. De "Omweg"-detector (Bifurcatie)

Soms zorgt een kleine verandering niet alleen voor een iets slechter product; het zorgt ervoor dat het pakketje een volledig andere weg neemt.

Stel je een verkeerslicht voor dat meestal "Doorgaan" zegt. Als het licht net een heel klein beetje flikkert, kan het plotseling "Stop" zeggen, waardoor de auto een heel andere straat oprijdt.
In AI kan een kleine verandering in een woord ervoor zorgen dat het systeem een stap overslaat, een andere tool aanroept, of terugkeert naar het begin.
De Taak van QUIVER: Het berekent de "Bifurcatiedrempel." Dit is de exacte hoeveelheid "ruis" of fout die nodig is om een schakelaar om te zetten en het systeem een nieuw pad op te sturen. Het vertelt ingenieurs: "Als je de prompt met dit veel verandert, zal het hele systeem een andere route nemen."

3. Het "Drie-onderdeel"-foutenrapport (Trajectdivergentie)

Wanneer twee runs van de fabriek verschillende resultaten opleveren, breekt QUIVER het verschil op in drie eenvoudige categorieën:

Waardedrift: Het pad was hetzelfde, maar de laatste woorden waren iets anders (zoals twee mensen die hetzelfde verhaal schrijven, maar met verschillende bijvoeglijke naamwoorden).
Structurele drift: Het pad veranderde. Het systeem nam een andere route (zoals één auto die de snelweg neemt en de ander die de achterwegen neemt).
Afteldrift: Het systeem deed extra werk. Misschien moest het drie keer terug en opnieuw proberen in plaats van één keer.

QUIVER is uniek omdat het je kan vertellen welke van deze drie er plaatsvond. De meeste andere tools zeggen alleen: "De output is anders," zonder uit te leggen hoe.

4. De "Frisheid"-check (Distributietrouw)

Stel je voor dat je een robot traint om appels te sorteren met een mand vol perfecte, glanzende rode appels. Maar in de echte fabriek zijn de appels vaak beschadigd of groen.

Als je de robot alleen test op de perfecte appels, ziet het er geweldig uit. Maar in de echte wereld faalt het.
De Taak van QUIVER: Het controleert of de "testappels" (de data die wordt gebruikt om de robot te evalueren) overeenkomen met de "echte appels" (wat de robot daadwerkelijk ziet in productie). Als ze niet overeenkomen, markeert QUIVER dit als "Ontrouw", en waarschuwt het ingenieurs dat hun testscores hen liegen.

Wat Ze Vonden

De auteurs testten QUIVER op twee real-world bedrijfssystemen (Systeem P en Systeem Q) en een publieke testcase. Ze vonden:

Verborgen Gevaren: Sommige systemen zien er stabiel uit, maar ze hebben verborgen "versterker"-leidingen waar kleine fouten exploderen tot grote falen.
Verschillende Oorzaken, Zelfde Resultaat: Twee systemen kunnen dezelfde faalfrequentie hebben, maar om totaal verschillende redenen (het ene is een "omweg"-probleem, het andere is een "waardedrift"-probleem). Je hebt QUIVER nodig om ze uit elkaar te houden.
De "Ruis"-Oorsprong: Ze konden precies aanwijzen welke robot de initiële "statische" of ruis genereerde, in plaats van alleen de laatste robot de schuld te geven.

De Conclusie

QUIVER is een formeel raamwerk dat ingenieurs een kaart geeft van hoe fouten reizen door complexe AI-ketens. In plaats van te raden waarom een AI-toepassing kapot ging, kunnen ze nu precies meten waar de "golf" begon, hoe deze groeide, en of het ervoor zorgde dat het systeem een verkeerde afslag nam. Dit stelt hen in staat om de specifieke zwakke schakels in de keten te repareren in plaats van alleen de eindoutput te patchen.

Technische Samenvatting: QUIVER – Een Formeel Kader voor het Kwantificeren van Perturbatiepropagatie en Bifurcatie in Samengestelde AI-systemen

1. Probleemstelling

Samengestelde AI-systemen, die meerdere Large Language Model (LLM)-oproepen koppelen in gerichte berekeninggrafieken met parallelle takken, sequentiële stadia en conditionele lussen, zijn de dominante architectuur geworden voor productieve AI-toepassingen. Deze systemen vormen echter een unieke uitdaging voor evaluatie: ze bestaan uit heterogene knooppunten die outputs in gemengde modi produceren (variërend van getypeerde schema's tot natuurlijke taal), waarbij knooppunten stochastisch zijn en uitvoeringspaden structureel kunnen divergeren bij geringe perturbaties.

Huidige evaluatiemethoden lijden onder twee primaire beperkingen:

End-to-End Evaluatie: Hoewel dit in staat is om kwaliteitsarme antwoorden te detecteren, kan het niet het specifieke verantwoordelijke knooppunt lokaliseren of onderscheid maken of kwaliteitsdegradatie het gevolg was van een continue keten van kleine perturbaties of een enkele upstream-verandering die een drempelwaarde overschreed waardoor het uitvoeringspad omkeerde.
Per-knooppunt Evaluatie: Het testen van componenten geïsoleerd tegenover gecureerde inputs weerspiegelt vaak niet de werkelijke distributie van data die van upstream-knooppunten wordt ontvangen, wat leidt tot kwalitatieve schattingen die het productieve gedrag niet voorspellen. Dit probleem wordt versterkt in pipelines met conditionele lussen, waarbij kleine upstream-perturbaties verschillende knooppunten kunnen activeren, verschillende lusiteraties kunnen uitvoeren of volledig verschillende kennis kunnen ophalen.

Bestaande optimalisatie- en evaluatietools (zoals DSPy, TextGrad) behandelen knooppunten doorgaans onafhankelijk van elkaar, zonder mechanismen om te meten hoe perturbaties zich over randen voortplanten of waar structurele bifurcatie optreedt.

2. Methodologie: Het QUIVER-kader

De auteurs introduceren QUIVER, een formeel kader ontworpen om perturbatiepropagatie te meten in LLM-pipelines met de structuur van een berekeninggrafiek. Het kader definieert vier kernwiskundige objecten en principes:

2.1 Getypeerde Pipeline-grafiek en Afstandsmaten

Het systeem wordt gemodelleerd als een Getypeerde Pipeline-grafiek $G = (V, E, T, F)$ , waarbij knooppunten stochastische functies voorstellen die parent-outputs afbeelden op kansverdelingen over getypeerde outputruimtes (schema's, lijsten, categorieën, tekst).
Om verschillen te meten, hanteert het kader Type-gedistribueerde Afstandsmaten. In plaats van één afstandsfunctie, gebruikt het een gewogen som van veldspecifieke kernels die passend zijn bij het datatype (bijvoorbeeld genormaliseerde edit-afstand voor geordende lijsten, Jaccard-afstand voor verzamelingen, cosinus-afstand voor tekst en binaire indicatoren voor categorische velden).

2.2 Gevoeligheidsmatrix en Occurrence-Lift

Het kader kwantificeert randgedrag via twee ontkoppelde maten:

Randgevoeligheid ( $\sigma_{ij}$ ): De verwachte verhouding van downstream-outputafstand tot upstream-outputafstand. Randen worden geclassificeerd als versterkers ( $\sigma > 1$ ), absorbers ( $\sigma < 1$ ) of ongevoelig ( $\sigma \approx 0$ ). Het kader merkt op dat gemiddelde gevoeligheid bimodale verdelingen kan maskeren waarbij een rand voor de meeste inputs als absorber optreedt, maar voor een minderheidstail als versterker.
Occurrence-Lift ( $\lambda_{ij}$ ): De waarschijnlijkheid dat downstream-drift optreedt gegeven upstream-drift, onafhankelijk van de grootte. Dit vat de koppelingswaarschijnlijkheid samen, wat de grootte die door $\sigma$ wordt vastgelegd, aanvult.

Padgevoeligheid wordt multiplicatief gedefinieerd langs gerichte paden, wat de identificatie mogelijk maakt van "cascade-versterkers" waarbij kleine upstream-fouten door de grafiek worden versterkt.

2.3 Trajectdivergentie en Bifurcatie

Voor pipelines met lussen en conditionele takken decomposeert het kader trajectvariatie in drie componenten:

Waarde-drift ( $D_{output}$ ): Verschillende outputs langs hetzelfde structurele pad.
Structurele Paddivergentie ( $D_{shape}$ ): Verschillende interne logica, acties of knooppuntactivaties.
Iteratieaantaldivergentie ( $D_{iter}$ ): Verschillende aantallen lusiteraties of sub-stadia-uitvoeringen.

Cruciaal definieert het kader Bifurcatiedrempels ( $\beta$ ), die de kleinste perturbatiegrootte bij een upstream-knooppunt identificeren die een structurele verandering in het uitvoeringspad veroorzaakt. Dit onderscheidt continue kwaliteitsdegradatie van discrete structurele verschuivingen.

2.4 Distributietrouw

Het kader introduceert Distributietrouw om te kwantificeren wanneer per-knooppunt-evaluatiedatasets afwijken van productiedistributies. Het stelt dat het evalueren van een knooppunt op inputs die niet overeenkomen met de marginale distributie van zijn upstream-producent (vooral bij randen met hoge gevoeligheid) leidt tot versterkte kwalitatieve schattingsfouten downstream.

3. Experimentele Validatie

Het kader werd gevalideerd op drie distincte topologieën:

Systeem P: Een complexe enterprise-pipeline met parallelle intake, selectie van ophaaltools en een conditionele replanningslus ( $k_{max}=5$ ).
Systeem Q: Een dual-planner pipeline met parallelle her-ranking en snelle/langzame pad-routing, zonder replanningslus maar met conditionele vertakking.
DSPy Multi-Hop QA: Een publieke, strikt sequentiële keten (HotpotQA/ColBERTv2) zonder lussen of parallelle intake, dienend als controle voor structurele distinctheid.

De studie gebruikte meer dan 8.200 geinstrumenteerde traces (observationeel en interventioneel), wat resulteerde in meer dan 32.000 paarvergelijkingen.

4. Belangrijkste Resultaten

Distincte Gevoeligheidsprofielen: Het kader onthulde dat architecturen sterk verschillende gevoeligheidsprofielen vertonen. Systeem Q toonde meerdere randen met versterkingsfactoren tot 9 $\times$ , terwijl Systeem P een mix vertoonde van versterkers en absorbers met bimodale verdelingen.
Mechanistisch Onderscheid: Identieke divergentierates bleken te ontstaan uit mechanistisch distincte patronen. Bijvoorbeeld, in Systeem P produceerden verschillende perturbatietypen (zoals uitwisselingen van herschrijvers versus signaalflippen) vergelijkbare structurele divergentierates (~37%), maar volgden ze verschillende cascade-kenmerken (bijvoorbeeld "versterk-then-flip" versus "directe keten"), die alleen via nodale decompositie te onderscheiden waren.
Voorspellende Bifurcatie: Observationele gevoeligheidsprofielen voorspelden succesvol knooppunten die vatbaar zijn voor trajectbifurcatie. In Systeem P werd de planner geïdentificeerd als de enige intrinsieke bron van bifurcatie, terwijl interventionele experimenten een bifurcatiedrempel voor de herschrijver onthulden ( $\hat{\beta} \approx 0.25$ ) die onder natuurlijke omstandigheden sluimerde maar onder perturbatie werd geactiveerd.
Evaluatieinvalidatie: Analyse van distributietrouw localiseerde "verouderde-evaluatieartefacten" tot specifieke knooppunt-veldcategorieën. In Systeem P bleek een configuratiewijziging die de ophaaldiepte verhoogde, de gouden evaluatiedata voor fragment-referentievelden ongeldig te maken, een discrepantie die onzichtbaar was voor geaggregeerde maten.
Generalisatie: Het kader generaliseerde succesvol naar de DSPy-sequentiële keten, waarbij correct nul structurele divergentie werd geïdentificeerd (zoals verwacht voor een keten zonder takken) en versterkers en absorbers werden geïsoleerd die consistent waren met de topologie van het systeem.

5. Betekenis en Claims

Het artikel stelt dat QUIVER de eerste formele primitieven biedt om propagatiedynamiek te meten die onzichtbaar zijn voor zowel component-niveau als end-to-end evaluatie. De betekenis hiervan ligt in:

Lokalisatie: Voorbijgaan aan "symptoomdetectie" naar het lokaliseren van de specifieke knooppunten en randen die verantwoordelijk zijn voor kwaliteitsdegradatie of structureel falen.
Structureel Bewustzijn: Het expliciet modelleren en meten van structurele paddivergentie en bifurcatiedrempels, wat cruciaal is voor systemen met conditionele lussen maar wordt genegeerd door huidige optimalisatietools.
Evaluatievaliditeit: Het introduceren van "distributietrouw" om te detecteren wanneer evaluatiedatasets productierealiteiten niet langer weerspiegelen, waardoor misleidende kwalitatieve schattingen worden voorkomen.
Actionable Diagnostiek: Het kader stelt praktici in staat om fragiele componenten te identificeren (bijvoorbeeld ruisende knooppunten die lekkende absorbers voeden) en gerichte architecturale of prompt-niveau wijzigingen aan te brengen, zoals aangetoond door productieve interventies die een ruisende her-ranker verwijderden en planner-prompts aanpasten om bifurcatie te verminderen.

De auteurs benadrukken dat het kader geen auxiliaire modellen (zoals LLM-judges) vereist voor de kernmetingen, maar in plaats daarvan vertrouwt op type-gedistribueerde afstandsmaten en standaardregressie op productietraces. De gevoeligheidsmatrix wordt opgemerkt lokaal geldig te zijn op het huidige operationele punt en vereist her-schatting na significante configuratiewijzigingen.