Technische Samenvatting: ReflexGrad

Probleemstelling

Grote Taalmodellen (LLM)-agenten falen vaak op oplosbare taken door zich vroeg in een episode vast te leggen op een onjuiste aanpak. Wanneer dit gebeurt, verspillen agenten hun stappenbudget vaak aan kleine variaties van dezelfde verkeerde strategie. Hoewel de informatie die nodig is om uit deze faalcirkel te geraken, aanwezig is binnen de trajecten na het falen, slagen bestaande architecturen er niet in om binnen één episode hierop te reageren.

Huidige methoden vallen in twee categorieën met onderscheidende beperkingen:

1. Strategische Correctie (bijv. Reflexion): Voert verbale zelfkritiek en volledige hertrials uit, maar vertraagt het herstel tot de volgende trial en vereist doorgaans few-shot demonstraties om op te starten.
2. Tactische Correctie (bijv. TextGrad): Verfijnt het beleid binnen één sessie met behulp van tekstuele gradiënten, maar werkt lokaal. Als de onderliggende strategie verkeerd is, scherpen deze gradiënten slechts de verkeerde aanpak aan in plaats van de richting te corrigeren.
3. Zoeken tijdens Inferentie (bijv. ToT, LATS): Verbreden de actieruimte per stap, maar updaten het persistente beleid niet naarmate de episode vordert.

Er is een gat voor een mechanisme dat begint met tactische verfijning en eskaleert naar strategische correctie binnen één enkele episode, zonder afhankelijkheid van demonstraties.

Methodologie: ReflexGrad-architectuur

ReflexGrad is een dual-process architectuur ontworpen voor herstel van falen binnen een episode. Het routeert tussen een Snel Proces en een Traag Proces op basis van een deterministische, vooruitgangsgegateerde routeerregel.

1. Kerncomponenten

• Snel Proces (Tactische Verfijning):

  • Mechanisme: Geïnspireerd door TextGrad, berekent het tekstuele gradiënten elke $k=3$ stappen.
  • Functie: Het analyseert de meest recente $k$ trajecttupels om verfijningen voor te stellen aan het natuurlijke-taalbeleid. Dit behandelt lokale fouten (bijv. "vermijd deze doodlopende actie") zonder de gehele strategie te heroriënteren.
  • Scope: Lokaal; reageert alleen op de directe context.

• Traag Proces (Strategische Herplanning):

  • Mechanisme: Geïnspireerd door Reflexion, voert het causale diagnose en herplanning uit.
  • Trigger: Geactiveerd alleen wanneer $m=5$ opeenvolgende vooruitgangsscores onder een drempelwaarde $\theta_{low}$ vallen. Dit geeft aan dat het Snel Proces is geconvergeerd naar een doodlopende weg.
  • Functie: Het genereert een causale diagnose (het identificeren van de oorzaak, bijv. "verkeerde opbergplek") en een geverifieerde oplossing (een kort plan van 1–3 hoogwaardige subdoelen).
  • Scope: Globaal; heroriënteert de strategie van de agent.

• Routeerregel & Afkoelperiode:

  • De router kiest per stap precies één modus: SNEL, TRAAG, of AFKOEL.
  • AFKOEL-modus: Bij activering van het Traag Proces wordt een afkoelteller ($c=5$) gestart die beide processen de volgende 5 stappen onderdrukt. Dit zorgt ervoor dat de agent het nieuwe plan uitvoert zonder interferentie van directe per-stap gradiënten die mogelijk nog steeds lage scores zien van de gefaalde aanpak.
  • Deterministische Samenvoeging: Updates worden samengevoegd met strikte prioriteit: Plan (Traag) > Gradiënt (Snel) > Basisbeleid. Dit voorkomt inconsistente begeleiding die zou kunnen ontstaan door het middelen van tegenstrijdige natuurlijke-talinstructies.

2. Artefacten

Elke activering van het Traag Proces geeft drie waarneembare artefacten af:

1. Een reproduceerbare trigger (de reeks lage scores).
2. Een causale diagnose (de oorzaak).
3. Een geverifieerde oplossing (het corrigerende plan).

Belangrijkste Bijdragen

1. Architectuur: Een vooruitgangsgegateerde routeerregel die per-stap tekstuele verfijning combineert met stall-geactiveerde causale herplanning. Het gebruikt een deterministische prioriteitssamenvoeging om beleidsconsistentie te behouden bij overlappende updates.
2. Demo-vrij Leren binnen de Episode: Het systeem bereikt hoge prestaties op ALFWorld (134 taken) zonder enige demonstraties. Het tilt Qwen-3-8B van 35,1% naar 75,4% en GPT-5 van 46,3% naar 88,1%.
3. Robuustheid & Falsifieerbare Scope: Gevoeligheidssweeps over routeerdrempels tonen aan dat het systeem robuust blijft (84,3%–88,1% succes). Het paper identificeert expliciet de grenzen van de aanpak: taken die specifieke wereldkennis vereisen die niet in het model aanwezig is of uit het traject kan worden opgehaald (bijv. specifieke "Verwarmen" of "Onderzoeken" opbergplekken) blijven moeilijk zonder demonstraties.

Experimentele Resultaten

De evaluatie werd uitgevoerd op de ALFWorld 134-taken benchmark met 10 willekeurige zaden, vergeleken met compute-gematchte baselines (LATS, ToT, Self-Refine) en zero-shot prestaties.

• Prestatiewinst:
  • Qwen-3-8B: 35,1% (Zero-shot) $\to$ 75,4% (ReflexGrad). Een stijging van +40,3 procentpunten (pp).
  • GPT-5: 46,3% (Zero-shot) $\to$ 88,1% (ReflexGrad). Een stijging van +41,8 pp.
• Vergelijking met Baselines:
  • ReflexGrad (demo-vrij) verslaat compute-gematchte 1-shot LATS met +2,7pp ($p \approx 0,01$), ToT met +5,7pp ($p < 10^{-4}$) en Self-Refine met +6,7pp ($p < 10^{-5}$) op Qwen-3-8B.
  • Het blijft 5,2pp achter op 1-shot ReflAct (dat demonstraties gebruikt), een kloof die de auteurs toeschrijven aan het ontbreken van directe overdracht van wereldkennis uit demonstraties.
• Synergie: De gecombineerde architectuur toont super-additieve synergie. Op GPT-5 levert de som van afzonderlijke componenten (alleen Reflexion + alleen TextGrad) +29,8pp op, terwijl het gecombineerde systeem +41,8pp oplevert, wat een synergiewinst van +12,0pp aangeeft.
• Cross-Model Consistentie: Het verschil in prestatiewinst tussen GPT-5 en Qwen-3-8B is slechts 1,5pp, wat binnen de ruis van de zaden valt ($p \approx 0,13$). Dit suggereert dat het routeermechanisme, en niet de modelgrootte, de primaire bron van de winst is.
• Kostenefficiëntie: ReflexGrad bereikt de laagste kosten per gewonnen procentpunt (1,4 calls/pp) vergeleken met afzonderlijke componenten, omdat de super-additieve synergie extra compute concentreert op herstelbare falen.

Betekenis en Claims

Het paper claimt dat ReflexGrad een nieuw regime vestigt voor demo-vrij herstel van falen binnen een episode. De betekenis ligt in het aantonen dat agenten lokale optima kunnen ontvluchten en strategische fouten kunnen corrigeren binnen één enkele episode zonder eerdere demonstraties, mits een continu vooruitgangssignaal beschikbaar is.

De auteurs positioneren ReflexGrad als het bezetten van een specifieke doorsnede in de ontwerpruimte: trainingsvrij, binnen-episode, vooruitgangsgegateerd, dual-process, single-model en demo-vrij. Zij erkennen dat hoewel de architectuur in veel categorieën goed vervangt voor demonstraties (het hanteren van actiegrammatica en navigatie), het de impliciete wereldkennis (bijv. specifieke object-werkwoord-mapping) die een demonstratie direct biedt, niet volledig kan vervangen. Bijgevolg claimt het paper geen gelijkwaardigheid met demo-gebootste methoden op taken die zwaar afhankelijk zijn van dergelijke onwaargenomen wereldkennis.