Technische Samenvatting: Zwak Gesuperviseerde Vroege Falingsdetectie in Dialogen en LLM-Agent Trajecten

Probleemdefinitie

Het artikel behandelt de uitdaging van vroege falingsdetectie (early failure alerting) in interactieve systemen met meerdere beurten, zoals klantenservice-dialogen en trajecten van LLM-gebaseerde agenten. Het kerndoel is om, terwijl een interactie nog in gang is, te beslissen of een traject waarschijnlijk zal falen, om tijdige interventies mogelijk te maken (bijv. menselijke escalatie of het stoppen van de berekening).

Twee primaire uitdagingen definiëren dit probleem:

1. Schaarse en Vertraagde Supervisie: Supervisie is doorgaans alleen beschikbaar als een terminale label op trajectniveau (succes/falen). Waarschuwingen moeten echter worden afgegeven op basis van gedeeltelijke prefixes. Bestaande methoden gaan er vaak van uit dat elke prefix van een mislukt traject bewijs van falen bevat (door het terminale label naar alle prefixes te broadcasten). De auteurs hypothetiseren dat dit gebrekkig is omdat bewijs van falen in taalinteracties schaars is en vaak laat in het traject verschijnt, wat betekent dat vroege prefixes mogelijk geen inhoud bevatten die op falen wijst.
2. Variabele Operationele Voorkeuren: Implementaties vereisen verschillende afwegingen tussen nauwkeurigheid (minimaliseren van valse alarmen) en vroegheid (falen zo snel mogelijk detecteren). Huidige state-of-the-art (SOTA) methoden vereisen vaak het trainen van een apart model of beleid voor elke specifieke voorkeur, wat hen inflexibel maakt bij veranderingen tijdens de implementatie.

Methodologie

Het voorgestelde framework bestaat uit twee complementaire componenten: een Aandacht-gebaseerde Falingsvoorspeller en een Voorkeursgeconditioneerd Stopbeleid ($\alpha$-STOP).

1. Aandacht-gebaseerde Falingsvoorspeller

In plaats van naïef het terminale falingslabel aan elke prefix toe te wijzen, introduceren de auteurs een tweestaps-voorspeller die leert van de schaarse structuur van falingsbewijs met behulp van Multiple Instance Learning (MIL).

• Fase 1: MIL-gebaseerd Bewijs op Beurtniveau: Het model behandelt het traject als een "zak" (bag) van beurten. Een aandacht-gebaseerde MIL-module leert welke specifieke beurten het meest verantwoordelijk zijn voor het terminale falingslabel. Het produceert risicoscores per beurt ($s_k$) en aandachtgewichten ($\pi_k$). Omdat online detectie geen toegang heeft tot het volledige traject, benadert een online gating-voorspeller deze gewichten met behulp van de prefix-historie tot aan beurt $k$. De top-$K$ bijdragen vormen een bewijsvector $E_t$.
• Fase 2: Fusie: Een naïeve prefix-voorspeller ($b_t$), getraind door het broadcasten van het terminale label, wordt gefuseerd met de schaarse bewijsvector ($E_t$). Een fusienetwerk ($g_\psi$) combineert de naïeve voorspelling, de bewijsvector en de genormaliseerde tijdstap om de uiteindelijke falingskans $\hat{p}_t$ te produceren. Deze fusie maakt gebruik van het feit dat de naïeve voorspeller vroeg stijgt maar ruisachtig is, terwijl het bewijs-signaal later stijgt maar nauwkeuriger is.

2. $\alpha$-STOP (Voorkeursgeconditioneerd Stopbeleid)

Om falingskansen om te zetten in detectiebeslissingen, stellen de auteurs $\alpha$-STOP voor, één enkel beleid dat de afweging tussen nauwkeurigheid en vroegheid kan doorlopen zonder opnieuw te trainen.

• Doelstelling: Het beleid maximaliseert een gescalariseerde doelstelling $J_\alpha = \mathbb{E}[\alpha \cdot R_{acc} - (1-\alpha) \cdot C_{delay}]$, waarbij $\alpha \in (0, 1]$ een door de gebruiker gespecificeerde voorkeursparameter is.
• Toestandsrepresentatie: Het beleid conditioneert op een rijke toestand $s_t = (\hat{p}_t, b_t, E_t, \tau_t, z_t)$, inclusief de gefuseerde voorspelling, naïeve voorspelling, bewijs, tijd en embedding.
• Training: Het beleid wordt geïnitialiseerd via Behavior Cloning (BC) van een plug-in drempelwaarde-controller die op validatiedata is aangepast, en wordt vervolgens verfijnd met behulp van PPO (Proximal Policy Optimization).
• Inference: Door $\alpha$ tijdens de inference te variëren, kan één getraind beleid een continuüm van operationele punten genereren, waardoor gebruikers kunnen schakelen van conservatieve (late, hoge nauwkeurigheid) naar agressieve (vroege, lagere nauwkeurigheid) detectie zonder opnieuw te trainen.

Belangrijkste Bijdragen

1. Empirische Karakterisering van Schaars Bewijs: Over vijf diverse benchmarks (klantenservice, taakgeoriënteerde dialoog, overtuiging, toolgebruik en planning) demonstreren de auteurs dat beurten die sterk indicatief zijn voor falen slechts 4,7–11,3% van het traject beslaan en doorgaans verschijnen nadat 59,0–83,6% van het traject is verstreken.
2. Zwak Gesuperviseerde Online Falingsvoorspelling: De aandacht-gebaseerde voorspeller, die naïeve prefix-scores fuseert met schaars beurt-niveau bewijs, verbetert de kwaliteit van de Pareto-frontier (hypervolume) met 1–10% ten opzichte van naïeve prefix-supervisie.
3. Voorkeursgeconditioneerde Vroege Detectie: Het $\alpha$-STOP beleid bereikt een verbetering van 3–42% in de Pareto-frontier kwaliteit ten opzichte van SOTA trigger-beleid (ALERT*, FIRMBOUND). Cruciaal is dat het de trainingskosten per operationeel punt met 1–3 ordes van grootte vermindert door het niet nodig hebben van herhaaldelijk trainen voor verschillende voorkeuren te elimineren.

Resultaten

De methode werd geëvalueerd op vijf datasets:

• Dialogen: PCS (Klantenservice), BETOLD (Taakgeoriënteerd), P4G (Overtuiging).
• LLM Agenten: AppWorld (Tool/API gebruik), ALFWorld (Tekstgebaseerde planning).

Belangrijkste bevindingen:

• Voorspeller Prestaties: De aandacht-gebaseerde voorspeller presteerde consistent beter dan de naïeve baseline in Maximale Nauwkeurigheid en Hypervolume (HV). Bijvoorbeeld, op PCS verbeterde Max Acc van 0,695 (Naïef) naar 0,813 (Aandacht-gebaseerd).
• Stopbeleid Prestaties: $\alpha$-STOP presteerde beter dan baselines inclusief ALERT*, FIRMBOUND, End-to-End RL en LLM Judges. Op de PCS dataset bereikte $\alpha$-STOP een Max Acc van 0,874 vergeleken met 0,808 voor ALERT*.
• Efficiëntie: Terwijl baselines zoals ALERT* en End-to-End RL aparte trainingsruns vereisten voor elk voorkeurspunt (11 runs voor 11 punten), vereiste $\alpha$-STOP slechts één trainingsrun om het volledige spectrum van voorkeuren te dekken. Dit resulteerde in een GPU-uur kost per operationeel punt van 0,003 voor $\alpha$-STOP versus 9,874 voor ALERT*.
• Controle: De parameter $\alpha$ demonstreerde sterke monotone controle, met hoge rangcorrelaties ($\rho > 0,94$) tussen $\alpha$ en vroegheid, wat zorgt voor voorspelbaar gedrag bij het aanpassen van de strengheid van de detectie.

Betekenis en Claims

Het artikel claimt dat de aanpak een praktisch, zwak gesuperviseerd framework biedt voor vroege falingsdetectie dat beter aansluit bij de werkelijke structuur van taalinteracties.

• Afstemming met de Realiteit: Door af te stappen van de "naïeve prefix" aanname, erkent de methode dat falingsbewijs schaars en vertraagd is, wat leidt tot een nauwkeurigere risico-inschatting.
• Operationele Flexibiliteit: De mogelijkheid om de afweging tussen nauwkeurigheid en vroegheid tijdens de inference aan te passen via een enkele parameter ($\alpha$) adresseert een cruciale implementatiebehoefte. Het stelt systemen in staat om te adapteren aan veranderende veiligheidsregimes of gebruikersvoorkeuren zonder de buitensporige kosten van het hertrainen van aparte modellen.
• Modulariteit: De scheiding van de falingsvoorspeller (risico-inschatting) van het trigger-beleid (besluitvorming) blijkt effectiever dan end-to-end RL-benaderingen in deze zwak gesuperviseerde setting, waar credit assignment over lange, schaarse trajecten moeilijk is.

De auteurs concluderen dat dit framework eerdere en betrouwbaardere interventies in interactieve AI-systemen mogelijk maakt, waardoor de veiligheid en betrouwbaarheid worden verbeterd terwijl de computationele overhead die gepaard gaat met het afstemmen van detectiebeleid aanzienlijk wordt verminderd.