Test, then Route: How Language Models Execute In-Context Conditional Rules Across Models and Languages

Technische Samenvatting: Testen, dan Routeren: Hoe Taalmodellen In-Context Conditionele Regels Uitvoeren

Probleemstelling
Grote taalmodellen (LLM's) voeren regelmatig in-context conditionele regels uit van de vorm "als $P(x)$ dan $A$ anders $B$." Een fundamentele vraag binnen de mechanistische interpreteerbaarheid is of het model een runtime-circuit assembleert bestaande uit scheidbare modules voor het testen van het predicaat $P(x)$ en het routeren van het passende antwoord ($A$ of $B$), of dat deze processen verstrengeld zijn in één enkel, ondeelbaar mechanisme. Hoewel gedragsmatige evaluaties kunnen bevestigen dat een model een regel volgt, kunnen ze niet onderscheid maken tussen deze interne organisatiestructuren. In tegen tegenstelling tot in gewichten opgeslagen circuits (bijv. Indirect Object Identification) die vooraf getraind en herbruikbaar zijn, vereisen in-context conditionalen dat het circuit tijdens de inferentie wordt geassembleerd op basis van dynamische prompt-inhoud.

Methodologie
De auteurs stellen een nieuw experimenteel ontwerp voor met behulp van activation patching om het "testen" (evaluatie van het predicaat) te ontkoppelen van het "routeren" (selectie van het antwoordwoord).

1. Vier-Donorsysteem: De kerninnovatie is een set van vier donor-prompts die een "discrepantie" creëren tussen de waarheidswaarde van het predicaat en het antwoordwoord.

   • BASE: Standaard regel, predicaat TRUE $\rightarrow$ Antwoord $A$.
   • O-DONOR: Standaard regel, predicaat FALSE $\rightarrow$ Antwoord $B$ (flipt de uitkomst).
   • MAP-DONOR: Omgekeerde regel ("als $P(x)$ dan $B$ anders $A$"), predicaat TRUE $\rightarrow$ Antwoord $B$ (flipt de mapping, houdt predicaat TRUE).
   • MAP-NULL: Omgekeerde regel, predicaat FALSE $\rightarrow$ Antwoord $A$ (flipt de mapping, houdt predicaat FALSE).
   • Logica: In MAP-DONOR en MAP-NULL wijzen de waarheidswaarde en het antwoordwoord naar tegengestelde labels. Door een laag van de residual stream van een donor naar een base-run te patchen, kunnen onderzoekers bepalen of die laag de conditie draagt (volgt de waarheidswaarde) of het antwoord (volgt het woord).

2. Metrieken:

   • Flip Probability: Meet of het patchen ervoor zorgt dat het model het antwoord van de donor geeft, afgestemd op een label-massa drempelwaarde ($\ge 0.30$) om artefacten door distributie-instorting te vermijden.
   • Fraction-of-Swing Recovery ($R$): Een gegradeerde metriek die meet hoe ver een patch het logit-verschil van de base richting die van de donor beweegt.
   • Transfer Controls: Om een echt routeringsmodule te onderscheiden van een token-specifieke readout, trainen de auteurs een low-rank subspace (DAS-lite) op één labelpaar (bijv. hond/kat) en testen ze het vermogen om een nieuw labelpaar (bijv. vos/uil) te flippen. Ze testen ook cross-linguale transfer.

3. Experimentele Omvang:

   • Modellen: Drie open-weight modellen uit twee families: Gemma-3-4B, Gemma-3-12B, en Qwen3-8B.
   • Talen: Zes talen (Engels, Chinees, Hindi, Indonesisch, Tamil, Singalees) verspreid over vier schriften.
   • Controls: Een vaste itembank van 250 items gedeeld over alle cellen; antwoordlabels ($dog/cat$) worden in het Latijnse schrift gehouden om regelbegrip te isoleren van vertalingseffecten.

Belangrijkste Resultaten

1. Modulaire Predicaat-TEST:

   • Over alle 18 experimentele cellen (3 modellen $\times$ 6 talen) draagt een duidelijke mid-stack residual band (bijv. lagen 21–22 in Gemma-3-4B) de waarheidswaarde van het predicaat.
   • Het patchen van deze band met de O-DONOR (die de waarheidswaarde flipt) herrouteert het antwoord met een waarschijnlijkheid van $\approx 1.0$.
   • Het patchen van dezelfde band met de MAP-DONOR (die de mapping flipt maar de waarheidswaarde behoudt) laat het antwoord ongewijzigd ($\approx 0.0$).
   • Deze isolatie houdt stand bij vijf verschillende predicaatfamilies (numerieke drempels, verzetslidmaatschap, klinker-initiaal) en een drie-output variant, wat bevestigt dat de module een abstracte waarheidswaarde berekent, en geen specifieke regel.

2. Niet-scheidbare ROUTE:

   • De ROUTE fase (waar de waarheidswaarde naar het antwoordwoord wordt gemapt) vertoont geen scheidbare, overdraagbare subspace.
   • Hoewel een geleerde subspace een getraind labelpaar perfect kan flippen (Interchange Accuracy $\approx 1.00$), faalt het in het transfereren naar een nieuw labelpaar (Accuracy $\approx 0$) in alle modellen.
   • Cross-Linguale Transfer: In Gemma-3-4B transfeert de geleerde richting voor een vast paar (dog/cat) bijna perfect ($\approx 0.98$) naar hetzelfde paar in andere talen (Tamil, Chinees). Dit geeft aan dat de richting token-gebonden is (specifiek voor de antwoord-tokens) in plaats van een abstract routeringsmechanisme.
   • In Qwen3-8B is de richting paar-specifiek en orthogonaal aan de readout, maar nog steeds niet-overdraagbaar naar nieuwe paren.

3. Fasegrens:

   • De experimenten onthullen een scherpe fasegrens (bijv. $L_{22} \to L_{23}$ in Gemma-3-4B). Onder deze grens volgen patches de conditie; boven deze grens volgen ze het antwoordwoord.
   • De TEST anchor is taal-invariant en bevindt zich op een consistente relatieve diepte. De ROUTE onset varieert per model en taal, wat suggereert dat de readout later in de stack kristalliseert.

Betekenis en Claims
Het paper claimt een fundamentele asymmetrie in hoe LLM's in-context conditionalen uitvoeren:

• Test is Modulair: De evaluatie van het predicaat is een causaal scheidbaar, lokaliseerbaar en draagbaar module. Het draagt een abstracte waarheidswaarde die kan worden overschreven om de beslissing van het model te sturen.
• Route is Verstrengeld: Het routeringsmechanisme is geen herbruikbare, abstracte module. In plaats daarvan lijkt het een token-gebonden readout-richting (of een paar-specifieke richting) te zijn die verstrengeld is met de specifieke antwoord-vocabulaire. Het generaliseert niet over verschillende labelparen.

Implicaties:

• Steering: Predicaat-niveau steering (het modificeren van de waarheidswaarde) zou meer draagbaar moeten zijn over prompts en vocabulaire-sets dan antwoord-niveau steering.
• Auditing: De scheidbare TEST-band biedt een "monitoring hook" om mismatches tussen oordeel en actie te detecteren voordat de uiteindelijke output wordt uitgegeven.
• Mechanistisch Begrip: De bevindingen dagen de aanname uit dat alle in-context gedragingen vertrouwen op herbruikbare, in gewichten opgeslagen circuits; in plaats daarvan houdt de runtime-assemblage twee verschillende fasen in waarbij alleen de "test"-fase modulair is.

Beperkingen
De auteurs merken op dat hun resultaten specifiek zijn voor open-weight modellen en gecontroleerde synthetische taken met single-token Latijnse labels. Ze beweren niet dat deze bevindingen gelden voor propriëtaire frontier-modellen, native-script conditionalen of vrije tekst-completies. De "verstrengelde" natuur van de router is precies voor de geteste instellingen, maar kan mogelijk niet generaliseren naar alle routerings-taken.