Routing Ceilings Are Domain-Independent: Structural Prior Injection in Code Security Vulnerability Detection

Technische Samenvatting: Routing-plafonds zijn domeinonafhankelijk

Probleemstelling
Grote taalmodellen (LLM's) vertonen een gedocumenteerde kloof tussen hun latente capaciteiten en hun consistente activatie, met name wanneer ze te maken krijgen met distributieverschuivingen. Voorgaand werk door Cázares [1] introduceerde de router-hypothese, die stelt dat LLM's problemen oplossen door inputs te routeren naar gecachte structurele patronen in plaats van antwoorden compositioneel af te leiden. Hoewel het injecteren van "structurele priors" (bijv. cheatsheets) de prestaties op in-distributie (ID) data drastisch verbetert, veroorzaakt dit een catastrofale instorting in out-of-distribution (OOD) settings, waarbij de prestaties vaak slechter zijn dan die van de zero-shot baselines.

Dit artikel onderzoekt of dit fenomeen domeinspecifiek is of een fundamentele eigenschap is van LLM-redeneren. Het vraagt zich af of het "routing-plafond" en de daarmee gepaard gaande instorting bij distributieverschuiving generaliseren van formeel wiskundig redeneren (het domein van de oorspronkelijke studie) naar detectie van beveiligingskwetsbaarheden in broncode, een hoog-risico domein waar synthetische benchmarks vaak falen in het voorspellen van real-world prestaties.

Methodologie
De auteurs repliceren het experimentele ontwerp van Cázares [1] binnen het BitCoder-framework, waarbij ze drie frontier LLM's (GPT-OSS-120B, Llama-3.3-70B en Gemma-4-31B) evalueren over twee verschillende datadistributies:

1. Synthetische Corpus (In-Distributie): Een dataset van 348 gelabelde paren (278 training, 70 hold-out) die drie categorieën kwetsbaarheden beslaat:
   • Syntactisch: CWE-798 (Hardcoded Credentials).
   • Contextueel: CWE-284 (Improper Access Control/IDOR).
   • Semantisch: N+1 Query Pattern (een niet-CWE anti-pattern die begrip van runtime-gedrag vereist).
2. Real-World Corpus (Out-of-Distributie): De VUDENC benchmark, bestaande uit Python-codefragmenten van echte CVE-fixende commits, specifiek gericht op SQL-injectie (CWE-89) en Path Traversal (CWE-22).

Experimentele Condities:

• Zero-shot: Standaard prompt met taakbeschrijving.
• Cheatsheet v1: Prompts aangevuld met handmatig geschreven structurele priors (canonieke detectieroutes en signaturen) afgeleid van de synthetische trainingsdistributie.
• Cheatsheet v2: Een herziene cheatsheet voor real-world data, gekalibreerd met behulp van foutpatronen (false positives/negatives) geïdentificeerd in een initiële VUDENC-evaluatie.

Belangrijkste Bijdragen en Resultaten

1. Replicatie van de Router-hypothese in Code Security:
   De studie bevestigt dat structurele priors de in-distributie prestaties verzadigen. Op synthetische data verhoogden cheatsheets de semantische kwetsbaarheid (N+1) recall van 20,0% naar 100,0% over alle drie de modellen, waarbij F1-scores bijna het plafond bereikten (tot 100%). Dit suggereert dat de modellen over de onderliggende capaciteit beschikken, maar er niet in slagen deze te activeren zonder expliciete routing-begeleiding.

2. Semantische Complexiteitsgradiënt:
   De zero-shot prestaties verslechteren voorspelbaar naarmate de semantische complexiteit toeneemt. Voor GPT-OSS-120B volgden de F1-scores een gradiënt: Syntactisch (90,9%) > Contextueel (85,7%) > Semantisch (28,6%). Dit geeft aan dat modellen zonder structurele priors moeite hebben met het routeren van complexe semantische redeneertaken.

3. Versterkte Distributieverschuivings-instorting:
   De meest kritieke bevinding is dat dezelfde cheatsheets die de synthetische prestaties maximaliseren, een ernstige instorting veroorzaken op real-world CVE-data.

   • Omvang: Voor GPT-OSS-120B op CWE-89 daalde de F1-score van 100% (synthetisch) naar 48,9% (real), een daling van 51,1 procentpunt. Deze instorting is meer dan twee keer zo ernstig als de -23,75 pp daling waargenomen in de oorspronkelijke wiskundige domeinstudie.
   • Vergelijking: Het met cheatsheets verrijkte model presteerde aanzienlijk slechter dan de zero-shot baseline op real-world data (48,9% vs. 61,5%), wat bevestigt dat de geïnjecteerde priors niet overeenkomen met real-world patronen, waardoor het model systematisch richting incorrecte oplossingspaden wordt gestuurd.

4. Falende Iteratieve Recalibratie:
   De auteurs testten of het verfijnen van de cheatsheet op basis van real-world foutpatronen (Cheatsheet v2) de instorting kon mitigeren. In plaats daarvan presteerde de v2-cheatsheet slechter dan v1 (daling naar 41,7% F1 voor CWE-89). Dit weerspiegelt de "AN45c vs. AN38" bevinding uit [1], wat suggereert dat het over-engineeren van priors voor lokale splits de structurele mismatch met de doeldistributie verergert.

5. Zero-Shot Misrouting:
   Onder zero-shot condities detecteerden modellen vaak kwetsbaarheden, maar voerden ze de onjuiste CWE-labels toe (misrouting). Hoewel cheatsheets deze misroutes elimineerden, merken de auteurs op dat dit waarschijnlijk komt doordat de cheatsheet direct het categorie-label levert in plaats van het interne routing-mechanisme van het model te corrigeren.

Significantie en Claims
Het artikel betoogt dat de cross-distributie trade-off surface een domeinonafhankelijke eigenschap is van de injectie van structurele priors in LLM's. De bevindingen suggereren dat:

• Limieten van Prompt Engineering: Vertrouwen op prompt engineering (checklists, few-shot exemplaren of structurele routing) om hoge benchmarkscores te behalen, kan leiden tot stille degradatie in productieomgevingen. De degradatie is geen tuning-probleem dat oplosbaar is met betere prompts, maar een structureel gevolg van een distributiemismatch.
• Structurele Aard van de Instorting: De instorting is geen kalibratie-artefact, maar een fundamenteel gedrag waarbij modellen routeren naar gecacheerde patronen die niet generaliseren.
• Voorgesteld Herstelmiddel: De auteurs stellen dat distributie-bewuste training (fine-tuning op hybride synthetische en real-world datasets) een veelbelovender pad is dan prompt-kalibratie. Door distributie-kennis in de gewichten van het model te embedden in plaats van in de prompt, kan de interne routing-prior beter afgestemd worden op het doeldomein.

De studie concludeert dat de router-hypothese generaliseert van formele wiskunde naar code security, en biedt bewijs dat LLM's geleerde sub-vaardigheden activeren via structurele routing-mechanismen die zeer gevoelig zijn voor distributieverschuivingen.