Technische Samenvatting: Signalen van Code-correctheid in de Verborgen Toestanden van LLM's

Probleemstelling

Dit werk onderzoekt de leesbaarheid van code-correctheid binnen de verborgen toestanden (hidden states) van Large Language Models (LLM's), met specifieke focus op het Qwen3-4B-Instruct-2507 model. De studie behandelt twee afzonderlijke temporele vragen met betrekking tot code-generatie op 444 LiveCodeBench taken:

1. Pre-generatie: Is de correctheid van de eerste poging tot code-generatie al decodeerbaar uit de verborgen toestand bij het laatste prompt-token, voordat er een output-token wordt gegenereerd?
2. Reparatie-geometrie: Wanneer een model een mislukte code-generatie probeert te repareren, draagt de verschuiving (delta) in zijn verborgen toestand tussen de mislukte poging en de reparatiepoging dan een stabiel, isoleerbaar geometrisch signaal over of de reparatie zal slagen?

De studie opereert binnen het kader van mechanistische interpreteerbaarheid, waarbij lineaire probes en contrastieve richting-analyse worden gebruikt om te bepalen of interne representaties verifieerbare eigenschappen zoals code-correctheid of reparatiesucces coderen.

Methodologie

Model en Data

• Model: Qwen/Qwen3-4B-Instruct-2507 (36-laagse decoder-only transformer, 2560-dimensionale verborgen toestand).
• Dataset: 444 LiveCodeBench taken (easy, medium, hard).
• Hardware: Enkele NVIDIA RTX 4050 (6 GB VRAM).
• Data-extractie: Verborgen toestanden worden geëxtraheerd uit het laatste prompt-token van een enkele forward pass (vóór autoregressieve generatie) voor de pre-generatie analyse. Voor de reparatie-analyse worden verborgen toestanden vastgelegd voor de eerste poging (poging 0) en de daaropvolgende reparatiepoging (poging 1).

Kerntechniek: Residualisatie

Het artikel maakt gebruik van residualisatie als een primair instrument voor het controleren van verstorende variabelen (confounds). Dit houdt in:

1. Het fitten van een Ordinary Least Squares (OLS) regressie voor elke dimensie van de verborgen toestand tegen een kandidaat-covariaat (bijv. promptlengte, reparatie-contextkenmerken).
2. Het aftrekken van de gefitte voorspelling van de dimensies van de verborgen toestand om de lineaire bijdrage van dat covariat te verwijderen.
3. Het opnieuw evalueren van het signaal (probe-prestatie of geometrische richting) op de residualiseerde data.

Deze aanpak wordt gebruikt om te onderscheiden tussen signalen die intrinsiek zijn aan de representatie van het model versus signalen die artefacten zijn van de inputstructuur of contextverschillen.

Experimentele Pipelines

1. Pre-generatie Probe (Sectie 3):

   • Een lineaire probe (StandardScaler $\to$ PCA $\to$ Logistische Regressie) wordt getraind om pass/fail labels te voorspellen vanuit de prompt-finale verborgen toestand.
   • Laalselectie: Geneste cross-validatie (50 outer splits, 5-fold inner CV) wordt gebruikt om de optimale laag en regularisatiestrengte ($C$) te selecteren om lekkage naar de testset te voorkomen.
   • Baselines: Vergelijking met ruwe verborgen toestanden, residualiseerde verborgen toestanden (verwijdering van promptlengte), en een prompt-lengte-alleen baseline.

2. Reparatie-richting Analyse (Sectie 4):

   • Delta Constructie: Voor taken waar poging 0 faalt en poging 1 bestaat, wordt de verborgen toestand delta gedefinieerd als $\delta = h_{\text{poging 1}} - h_{\text{poging 0}}$.
   • Contrastieve Richting: De vector $v = \text{mean}(\delta_{\text{succes}}) - \text{mean}(\delta_{\text{falen}})$ wordt berekend.
   • Validatie: Twee tests worden toegepast op $v$:
     • Magnitude: De norm van $v$ vergeleken met gelabelde-geshuffled nullen.
     • Inclinatie: Split-half cosine-gelijkenis tussen richtingen die zijn hersteld uit twee helften van de data.
   • Covariaat Check: Voordat residualisatie plaatsvindt, verifiëren statistische tests (Welch's t-test, Chi-kwadraat) of covariaten verschillen tussen de succes- en faalgroepen. Residualisatie wordt alleen toegepast op covariaten die significante groepsverschillen vertonen.
   • Covariaten: $\Delta$prompt_tokens, code_length_attempt_0, en failure_type.

Belangrijkste Resultaten

1. Pre-generatie Correctheid is Lineair Decodeerbaar

• Rauw Signaal: Een lineaire probe getraind op de prompt-finale verborgen toestand (Laag 29 geselecteerd via geneste CV) bereikt een lek-vrije AUC van 0.931 ± 0.008 over 50 willekeurige splits.
• Robuustheid tegen Promptlengte: Na het residualiseren van de dimensies van de verborgen toestand tegen de promptlengte, blijft de probe-prestatie hoog op 0.911 ± 0.010.
• Baseline Vergelijking: Een prompt-lengte-alleen baseline bereikt een AUC van 0.754 ± 0.014. Niet-lineaire modellen (Random Forest, Gradient Boosting, MLP) getraind op promptlengte alleen overtreffen deze baseline niet.
• Conclusie: De verborgen toestand bevat een correctheidssignaal dat robuust is en niet reduceerbaar is tot promptlengte, en dat aanwezig is vóórdat er een enkel output-token wordt gegenereerd.

2. Reparatie-richting is een Contextuele Correlatie, Geen Geïsoleerd Kenmerk

• Rauw Signaal: In de ruwe deltas (236 schone transities: 128 succes, 108 falen) bestaat een contrastieve richting. Deze slaagt voor de magnitude ($p < 0.001$) en split-half cosine ($p < 0.001$) tests tegen gelabelde-geshuffled nullen.
• Covariaat Imbalans: Statistische tests onthullen dat de succes- en faalgroepen significant verschillen in $\Delta$prompt_tokens, initiële code-lengte en de verdeling van het type falen ($p < 0.001$ voor alle gevallen).
• Effect van Residualisatie: Wanneer de deltas worden geridualiseerd tegen deze drie covariaten:
  • De magnitude van de richting daalt van 9.76 naar 3.72 (38% van het origineel).
  • De split-half cosine daalt van 0.767 naar 0.140.
  • Geen van beide tests blijft statistisch significant (Magnitude $p=0.126$, Split-half $p=0.942$).
• Conclusie: De geometrische richting die in de ruwe deltas wordt waargenomen, is een correlatie van reparatiesucces gedreven door de structuur van de reparatiecontext (bijv. de specifieke foutmelding en verschillen in code-lengte) in plaats van een geïsoleerd "reparatie-begrips"-kenmerk in de activatieruimte.

3. Beperkingen op Multi-stap Reparatieprocessen

• De studie vindt dat het succespercentage scherp instort na de eerste reparatiepoging (Poging 1: 36.4%, Poging 2: 6.7%).
• De data voor transities voorbij $0 \to 1$ (bijv. $1 \to 2$) is te schaars (slechts 13 successen voor $1 \to 2$) om zinvolle contrastieve richting-analyse te ondersteunen.

Bijdragen en Betekenis

De paper stelt dat de bijdrage evenzeer methodologisch als empirisch is:

1. Diagnostische Eerlijkheid: De studie demonstreert het nut van een enkele confound-control procedure (residualisatie) in twee tegengestelde richtingen.
   • In het geval van pre-generatie bevestigt residualisatie de claim door te laten zien dat het signaal overleeft na de verwijdering van een belangrijke confound (promptlengte).
   • In het geval van reparatie verwerpt dezelfde procedure de initiële interpretatie door te laten zien dat het signaal instort wanneer de context-covariaten worden verwijderd.
2. Methodologische Rigor: Het werk benadrukt de noodzaak om de verdeling van covariaten te controleren voordat residualisatie wordt toegepast. Er wordt betoogd dat het residualiseren tegen covariaten met gelijke groepsgemiddelden onnodig en potentieel misleidend is, terwijl het residualiseren tegen covariaten met verschillende gemiddelden essentieel is om latente kenmerken te isoleren.
3. Empirische Bevindingen:
   • Bevestigt dat code-correctheid leesbaar is in de verborgen toestand voordat de generatie begint.
   • Weerlegt de hypothese dat er een stabiele, geïsoleerde geometrische richting voor "reparatiesucces" bestaat in de ruwe verschuivingen van de verborgen toestand, en schrijft het waargenomen signaal toe aan de verschillende contexten van de reparatiepogingen.

De paper concludeert dat hoewel LLM's rijke informatie over code-correctheid coderen, de interpretatie van geometrische verschuivingen in verborgen toestanden een zorgvuldige ontkoppeling van de inputcontext vereist, aange_zien ogenschijnlijke "kenmerken" simpelweg reflecties kunnen zijn van de promptstructuur.