Technische Samenvatting: SeDT – Sentence-Transformer Decision-Transformer Conditioning voor Betrouwbaarheid in Meerdere Omwentelingen

1. Probleemstelling: Het "Verloren in Gesprek"-Fenomeen

Grote Taalmodellen (LLMs) vertonen een aanzienlijke prestatie-inzakking wanneer taken geleidelijk over meerdere omwentelingen worden onthuld, in vergelijking met wanneer ze volledig in één omwenteling worden gespecificeerd. Dit fenomeen, gedocumenteerd als "Verloren in Gesprek" (Laban et al., 2025), resulteert in een gemiddelde prestatiedaling van 39% over state-of-the-art modellen.

Cruciaal is dat het artikel betoogt dat deze inzinking primair een betrouwbaarheidsfout is en geen capaciteitsfout. Hoewel de beste vaardigheid (90e percentiel) slechts met 16% daalt, verdubbelt de onbetrouwbaarheid (het verschil tussen het 90e en 10e percentiel) meer dan (+112%).

De oorzaak wordt geïdentificeerd als structureel:

• Vlakke Contextgewichtering: Meerdere omwentelingen worden samengevoegd tot een vlakke contextvenster waarbij elke vorige omwenteling een gelijke impliciete draagkracht heeft.
• Aandachtstijding: Transformer-modellen negeren systematisch informatie in het midden van de context (de "U-vormige" aandachtstijding), waardoor kritieke beperkingen die halverwege een gesprek worden onthuld, worden behandeld als ruis.
• Foutmodi: Dit leidt tot voortijdige toewijzing aan antwoorden, overmatige afhankelijkheid van incorrecte tussenantwoorden, verlies van beperkingen in het midden van het gesprek en een drift naar overbodige tekst.

Bestaande oplossingen, zoals fine-tuning, zijn onpraktisch op het moment van inferentie vanwege de noodzaak aan verzorgde data en het wijzigen van gewichten. Andere contextbeheerstrategieën zoals "herhaling" (het herhalen van de geschiedenis) slagen er vaak niet in om kritieke beperkingen te onderscheiden van incidentele dialoog.

2. Methodologie: SeDT

De auteurs stellen SeDT (Sentence-transformer Decision-Transformer conditioning) voor, een trainingsvrije methode op het moment van inferentie die vlakke contextgewichtering oplost door Return-to-Go (RTG) conditioning over te nemen uit offline versterkend leren.

2.1 De Formele Parallel

SeDT trekt een directe analogie tussen de Decision Transformer (Chen et al., 2021a) en inferentie van meervoudige omwentelingen bij LLM's:

• Traject: De geschiedenis van het gesprek.
• Stap: Elk informatieschard dat in één omwenteling wordt onthuld.
• Beloning: De semantische relevantie van dat schard voor het uiteindelijke doel van de output.
• Return-to-Go (RTG): In plaats van het model de relevantie te laten afleiden, annoteert SeDT elk schard met een cumulatieve relevantiescore ($\hat{R}_t$), die de totale doelgerelateerde informatie vertegenwoordigt die nog te komen staat vanaf die omwenteling.

De invoer voor het model in de laatste omwenteling wordt omgezet van een vlakke lijst van omwentelingen naar een sequentie van geannoteerde tuples: $[(\hat{R}_1, \text{schard}_1), \dots, (\hat{R}_T, \text{schard}_T)]$.

2.2 Drie-Signaal Relevantiescoring

Om de relevantie van elk schard te berekenen ($rel(t)$), combineert SeDT drie complementaire signalen:
$$rel(t) = \alpha \cdot sem(t) + \beta \cdot lex(t) + \gamma \cdot pos(t)$$
Waarbij de gewichten empirisch zijn ingesteld op $\alpha=0.6, \beta=0.2, \gamma=0.2$.

1. Semantisch Signaal ($sem$): Diepe alignering tussen het schard en een taak-typische "doelanker" (bijv. "Schrijf een complete Python-functie"). Berekend via cosinusgelijkenis van dichte vector-embeddings (met all-mpnet-base-v2).
2. Lexicaal Signaal ($lex$): Oppervlakkige overlap van trefwoorden (Jaccard-gelijkenis) tussen de doelanker en het schard, waarmee domeinspecifieke trefwoorden worden vastgelegd die embeddings mogelijk missen.
3. Positief Signaal ($pos$): Een omgekeerde-U-boost ontworpen om de natuurlijke neiging van de transformer om het midden van de context te negeren, tegen te werken. Het kent de hoogste score toe aan de middelste omwenteling en neemt symmetrisch af naar het begin en het einde.

2.3 RTG-Annotation en Prompt Constructie

• Cumulatieve Scoring: De RTG voor een omwenteling is de som van de relevantiescores vanaf die omwenteling tot het einde van het gesprek.
• Garantie voor Laatste Schard: Een minimumgarantie wordt toegepast op het laatste schard om ervoor te zorgen dat de laatste beperking niet wordt verworpen, zelfs niet als de ruwe relevantie laag is.
• Vertrouwenslabels: Schards met relevantie boven het gemiddelde worden gemarkeerd als BEVESTIGD; anderen worden gemarkeerd als ONZEKER. Deze labels worden toegevoegd aan de geschiedenis die aan het model wordt gepresenteerd.

2.4 RTG-Gestuurde Zelfcorrectie

SeDT omvat een verificatiemechanisme met twee bewakers:

1. Trigger: Als het gesprek wordt beschouwd als "zwak" (gebaseerd op de genormaliseerde relevantie van het laatste schard en het aandeel onzekere omwentelingen), wordt een verificatiestap geactiveerd.
2. Acceptatiebewaker: Een verifiëermodel genereert een nieuw antwoord. Dit antwoord vervangt het originele alleen als het meer "BEVESTIGDE" schards (inhoudswoorden) dekt dan het originele antwoord. Dit voorkomt stochastisch overschrijven van correcte antwoorden.

3. Belangrijkste Bijdragen

1. Probleemidentificatie: Het identificeren van vlakke contextgewichtering van omwentelingen als de structurele oorzaak van de inzinking in betrouwbaarheid bij meerdere omwentelingen, en het vaststellen van een formele parallel met Decision Transformer RTG-conditioning.
2. SeDT-methode: Een trainingsvrije methode op het moment van inferentie die geen modelwijziging vereist en geen trainingsdata nodig heeft.
3. Drie-Signaal Relevantie: Een formulering die semantische, lexicale en positieve signalen combineert om gedocumenteerde foutmodi (voortijdige toewijzing, verlies van omwentelingen in het midden, enz.) direct tegen te werken.
4. RTG-gegronde Zelfcorrectie: Een conservatieve verificatiepad dat nul "schadegevallen" introduceert (fouten ingebracht door het correctiemechanisme).

4. Experimentele Resultaten

De methode werd geëvalueerd op de Lost-in-Conversation-benchmark (Laban et al., 2025) over drie LLM's (GPT-4o-mini, Gemini 2.5 Flash, Llama 3.3-70B) en drie taken (Acties, Wiskunde/GSM8K, Code).

• Prestatiewinst: SeDT presteerde beter dan de gebaseerde schard-baseline in alle negen model-taakcombinaties.
  • Gemiddelde Prestatie ($\bar{P}$): Winsten varieerden van +5,6% tot +37,7%. Gemini 2.5 Flash toonde de grootste enkele winst (+37,7 bij Acties), wat een aanzienlijk herstel betekende richting zijn prestatieplafond voor één omwenteling.
  • Betrouwbaarheid: Onbetrouwbaarheid ($U$) werd verminderd in zeven van de negen combinaties. De methode slaagde erin scoreverdelingen te strakker te maken, met name bij Wiskunde- en Actietaken.
• Vaardigheid: De beste capaciteit (Vaardigheid $A_{90}$) verbeterde in alle gevallen, wat bevestigt dat de winsten een echte herstel van capaciteit weerspiegelen en niet ruisreductie.
• Ablatiestudies:
  • Geen enkel signaal (semantisch, lexicaal of positief alleen) was voldoende; de combinatie was noodzakelijk.
  • De specifieke weging ($\alpha=0.6$) werd gevalideerd als betekenisvol en presteerde beter dan uniforme weging.
  • "Random RTG" (het gebruik van willekeurige getallen in plaats van berekende relevantie) presteerde beter dan de baseline, maar aanzienlijk slechter dan SeDT, wat bewijst dat het berekende relevantiesignaal, en niet alleen het numerieke voorvoegselformaat, de prestaties drijft.
• Zelfcorrectie: Het mechanisme werd geactiveerd in ongeveer 28% van de runs, maar resulteerde in nul schadegevallen, waarbij alleen antwoorden werden vervangen wanneer het nieuwe antwoord aantoonbaar meer bevestigde beperkingen dekte.

5. Betekenis en Claims

Het artikel beweert dat het "Verloren in Gesprek"-probleem ten minste gedeeltelijk een probleem is van contextgewichtering, dat op het moment van inferentie kan worden aangepakt zonder hertraining.

• Structureel Inzicht: Het werk verlegt de schuld van model "onbetrouwbaarheid" of "intentie-misalignering" naar de structurele representatie van gespreksgeschiedenis.
• Praktijktoepasbaarheid: Door geen fine-tuning te vereisen en hooguit één extra LLM-call (voor verificatie), biedt SeDT een schaalbare oplossing voor real-world meerdere omwentelingen-interacties waarbij gebruikers beperkingen noodzakelijkerwijs geleidelijk onthullen.
• Mechanisme: Het succes van RTG-conditioning suggereert dat instructie-getrainde LLM's hebben geleerd te reageren op expliciete belangrijkheidssignalen (zoals numerieke voorvoegsels gevonden in code-commentaren of lijsten) tijdens pretraining, waardoor ze deze "impliciete in-context demonstratie" kunnen benutten om hun aandacht opnieuw te wegen naar kritieke beperkingen.

De auteurs concluderen dat "het vertellen aan het model welke vorige omwentelingen belangrijk zijn, voldoende is om de in gesprekken verloren prestaties substantieel te herstellen."