Technisch Overzicht: FailureScope – Cross-Regime Gedragsdiagnostiek van Zwakheden in Taalmodellen

1. Probleemstelling

Standaard benchmarks voor Large Language Models (LLM's) rapporteren doorgaans geaggregeerde nauwkeurigheidsscores (bijv. MMLU, GSM8K), die de specifieke capaciteiten die een model mist, verhullen. Naarmate modellen worden ingezet in complexe, multi-turn en agentische scenario's, wordt de kloof tussen een enkele geaggregeerde score en de specifieke diagnostische behoeften van praktijkgebruikers groter. Bovendien is de onderzoekscommunity gefragmenteerd geraakt in afzonderlijke subcommunities voor single-turn benchmarks, multi-turn dialoog en adversariële agent-evaluaties, elk met eigen metrieken en diagnostische kaders die niet overdraagbaar zijn naar andere regimes.

Het artikel betoogt dat de fundamentele eenheid van diagnose niet de taak zelf moet zijn, maar het cross-model gedragspatroon: specifiek, welke modellen falen op een gegeven probe. Huidige methoden richten zich vaak op het comprimeren van benchmarks om evaluatiekosten te verlagen terwijl scalaire rangordes behouden blijven, waarbij vaak de granulaire informatie over het type falen dat praktijkgebruikers nodig hebben, verloren gaat.

2. Methodologie: FAILURESCOPE

De auteurs introduceren FAILURESCOPE, een methodologie voor gedragsdiagnostiek die faal-taxonomieën construeert door evaluatie-probes te clusteren op basis van hun cross-model pass/fail-signaturen. De aanpak is ontworpen om portabel te zijn over verschillende evaluatie-regimes.

Kernpipeline

De methodologie volgt een vijfstapsalgoritme dat consistent blijft over single-turn, multi-turn en adversariële regimes:

1. Matrixconstructie: Bouw een probe-door-model pass/fail-matrix.
2. Imputatie: Imputeer ontbrekende vermeldingen (voorkomend wanneer modellen niet op alle benchmarks worden geëvalueerd) met behulp van kolomgemiddelden. De auteurs merken op dat het gebruik van sentinel-waarden (bijv. -1) valse negatieve signalen injecteert in afstandsberekeningen.
3. Embedding & Normalisatie:
   • Taken worden gerepresenteerd door een gecombineerde vector: $z_{combined} = [\alpha \hat{z}_{sem} \parallel (1-\alpha) \hat{z}_{beh}]$.
   • $\hat{z}_{sem}$ is een semantische embedding (Voyage-3-Large).
   • $\hat{z}_{beh}$ is een 18-dimensionale gedragsvector die de pass/fail-status codeert over modellen heen.
   • De auteurs stellen vast dat $\alpha=0.1$ (gedrags-dominant) optimaal is, omdat een kleine semantische component helpt bij het scheiden van grensgevallen zonder het gedragssignaal te overstemmen.
   • Vectors worden L2-genormaliseerd.
4. Clustering: Reduceer dimensionaliteit via UMAP (of PCA-fallback) naar 30 dimensies, en cluster vervolgens met behulp van HDBSCAN.
5. Labeling: Clusters worden gelabeld via LLM-geprompted exemplaren (met behulp van de 5 dichtstbijzijnde buren).

Validatieprotocol: Leave-One-Model-Out (LOMO)

Om de taxonomie te valideren zonder circulariteit, gebruiken de auteurs een LOMO-protocol:

• Eén model ($m^*$) wordt uitgesloten.
• De taxonomie wordt opnieuw opgebouwd met de resterende $N-1$ modellen.
• Het profiel van de uitgesloten zwakheden van het model wordt vervolgens geëvalueerd tegen deze nieuwe taxonomie met behulp van twee metrieken:
  1. Diagnostische Efficiëntie: Hoe goed herstelt taxonomie-geconditioneerde sampling (het selecteren van taken om alle clusters te dekken) de rangorde van de zwakheden van het uitgesloten model vergeleken met willekeurige of gestratificeerde sampling? (Gemeten via Kendall's $\tau$).
  2. Cross-Model Voorspelling: Kan het faalprofiel van het uitgesloten model worden voorspeld op basis van de gelijkenis met de trainingsmodellen? (Gemeten via AUC).

3. Belangrijkste Bijdragen en Resultaten

Het artikel valideert FAILURESCOPE over drie verschillende regimes, waarmee wordt aangetoond dat dezelfde primitief stabiele, interpreteerbare clusters oplevert in elk regime.

A. Single-Turn Benchmarks

• Dataset: 2.664 taken uit 6 benchmarks (GSM8K, ARC, MMLU, HumanEval, MBPP, IFEval) geëvalueerd over 18 modellen.
• Clustering: De gedrags-dominante setting ($\alpha=0.1$) levert 25 stabiele clusters op met een silhouette score van 0.12. Cruciaal is dat 86,7% van de clusters meerdere benchmarks beslaat, wat aangeeft dat faal-signaturen de grenzen van specifieke datasets overstijgen.
• Diagnostische Efficiëntie: Onder LOMO bereikt taxonomie-geconditioneerde sampling een Kendall's $\tau$ van 0.81 bij 50 taken. Dit is significant beter dan willekeurige selectie ($\tau=0.34$) en benchmark-gestratificeerde sampling ($\tau=0.64$).
• Voorspelling: Cross-model faalvoorspelling bereikt een AUC van 0.88 met een nearest-model benadering.

B. Multi-Turn Dialoog

• Dataset: 363 frontier-harde conversaties over 5 frontier-modellen, verspreid over 11 vaardigheidsassen en 7 conversationele dieptes.
• Clustering: De methode herstelt 6 clusters met een hoge silhouette van 0.92.
• Belangrijkste Bevindingen:
  • Deep-Context Collapse: Een groot cluster (162 taken, voornamelijk diepte-6) waar alle modellen universeel falen, een patroon dat niet zichtbaar is in single-turn analyse.
  • Model-Selectieve Veerkracht: Eén cluster (n=11) laat zien dat Claude Sonnet 4.6 faalt bij ongeveer 70%, terwijl andere modellen falen bij 85–100%.
  • DeepSeek-Immune Kandidaat: Een klein cluster (n=10) waar DeepSeek slaagt terwijl de GPT- en Claude-families falen. De auteurs behandelen dit als een hypothese-genererend signaal dat grootschalige replicatie vereist.

C. Adversariële Agent Attacks

• Dataset: 630 multi-turn agent traces tegen een code-executie sandbox, bestaande uit drie attack-families en drie frontier-modellen.
• Clustering: De methode identificeert 3 onderscheidende gedragsprofielen:
  1. Meta-falen van Evaluatie: Een gat van 73–100 procentpunten tussen de LLM-judge Attack Success Rates (ASR) en de werkelijke netwerk-executie ASR bij cognitieve belasting-attacks. Het cluster onthult dat het evaluatie-instrument (de judge) onbetrouwbaar is, niet het model.
  2. Selectieve Compositionele Weigering: Claude Sonnet 4.6 vertoont een uniek profiel waarbij het de kwaadaardige payload weigert bij stap 2 (21/30 gevallen), ondanks het passeren van de eerste stap, terwijl GPT-5.4 de aanval in 92% van de gevallen uitvoert.
  3. Compositionele Compliance: GPT-5.4 en GPT-5.4-mini vertonen hoge executiecijfers, waardoor ze een "werkelijk gecompromitteerd" cluster vormen dat onderscheidend is van het instrument-falen en de weigeringsclusters.

4. Betekenis en Claims

Het artikel beweert dat gedragsclustering een portabele diagnostische primitief is die verder gaat dan enige enkele benchmark.

• Portabiliteit: Dezelfde vijfstapsalgoritme produceert stabiele, interpreteerbare taxonomieën over single-turn, multi-turn en adversariële regimes heen. De auteurs benadrukken dat hoewel de silhouette scores verschillen per regime (0.12, 0.92, 0.71) door variërende aantal clusters en dimensies, de kwalitatieve coherentie en downstream bruikbaarheid (hoge $\tau$ en AUC) consistent blijven.
• Efficiëntie: De methode maakt efficiënte gestructureerde diagnose mogelijk. Praktijkgebruikers kunnen een nieuw model evalueren op ongeveer 50 taxonomie-geconditioneerde taken om met hoge getrouwheid ($\tau=0.81$) een zwakteprofiel te herstellen, of het profiel voorspellen zonder evaluatie via cross-model voorspelling (AUC 0.88).
• Ontdekking van Verborgen Patronen: De aanpak legt faalmodi bloot die onzichtbaar zijn voor single-benchmark analyse, zoals de diepte-afhankelijke universele instorting in multi-turn dialoog en de onbetrouwbaarheid van LLM-judges in specifieke adversariële contexten.

5. Beperkingen en Omvang

De auteurs hanteren een bescheiden standpunt over hun claims:

• Extrapolatie: De LOMO-validatie is geldig voor modellen binnen hetzelfde capaciteitsbereik. Zij beweren niet dat een taxonomie gebouwd op 7B–70B modellen zonder reconstructie zou overdragen naar aanzienlijk sterkere systemen (bijv. GPT-5 klasse).
• Data-schaarsheid: De methode vertrouwt op imputatie voor ontbrekende benchmarkdata; rijkere evaluatiedata zou de kwaliteit van de clustering waarschijnlijk verbeteren.
• Subjectiviteit van Labeling: Clusterlabels worden gegenereerd door LLM's. Hoewel de structuur robuust is, kunnen specifieke faalmodus-labels (bijv. redenering versus kennisgat) ambigu zijn.
• Omvang: De single-turn corpus dekt geen multimodale redenering of long-context taken, hoewel de multi-turn casestudies enkele van deze hiaten adresseren met kleinere modelpools.

Het artikel concludeert door de pipeline, drie geannoteerde corpora, cross-regime taxonomieën en 1.203 gegenereerde adversariële taken vrij te geven om verder onderzoek naar gestructureerde modeldiagnostiek te faciliteren.