Riassunto Tecnico: FailureScope – Diagnosi Comportamentale Trans-Regime delle Debolezze dei Modelli Linguistici

1. Definizione del Problema

I benchmark standard per i Large Language Model (LLM) riportano tipicamente punteggi di accuratezza aggregati (es. MMLU, GSM8K), che però oscurano le specifiche capacità mancanti di un modello. Man mano che i modelli vengono implementati in scenari complessi, multi-turn e agentici, il divario tra un singolo numero aggregato e le specifiche esigenze diagnostiche dei professionisti si amplia. Inoltre, la comunità di ricerca si è frammentata in sub-comunità separate per benchmark single-turn, dialogo multi-turn e valutazioni di agenti avversari, ciascuna con metriche e framework diagnostici distinti che non sono trasferibili tra i diversi regimi.

Il paper sostiene che l'unità fondamentale della diagnosi non debba essere il compito stesso, ma il pattern comportamentale cross-modello: specificamente, quali modelli falliscono su un dato probe. I metodi attuali spesso si concentrano sulla compressione dei benchmark per ridurre i costi di valutazione preservando i ranking scalari, scartando spesso le informazioni granulari sui tipi di fallimento di cui i professionini hanno bisogno.

2. Metodologia: FAILURESCOPE

Gli autori introducono FAILURESCOPE, una metodologia di diagnosi comportamentale che costruisce tassonomie di fallimento attraverso il clustering di probe di valutazione basandosi sulle loro firme di pass/fail cross-modello. L'approccio è progettato per essere portabile attraverso diversi regimi di valutazione.

Pipeline Core

La metodologia segue un algoritmo in cinque fasi che rimane coerente tra i regimi single-turn, multi-turn e avversari:

1. Costruzione della Matrice: Costruire una matrice pass/fail probe-per-modello.
2. Imputazione: Imputare le voci mancanti (comuni quando i modelli non sono valutati su tutti i benchmark) utilizzando le medie di colonna. Gli autori notano che l'uso di valori sentinella (es. -1) introduce segnali di falso negativo nei calcoli di distanza.
3. Embedding & Normalizzazione:
   • I compiti sono rappresentati da un vettore combinato: $z_{combined} = [\alpha \hat{z}_{sem} \parallel (1-\alpha) \hat{z}_{beh}]$.
   • $\hat{z}_{sem}$ è un embedding semantico (Voyage-3-Large).
   • $\hat{z}_{beh}$ è un vettore comportamentale a 18 dimensioni che codifica lo stato pass/fail attraverso i modelli.
   • Gli autori riscontrano che $\alpha=0.1$ (dominante sul comportamento) è ottimale, poiché una piccola componente semantica aiuta a separare i cluster limite senza sommergere il segnale comportamentale.
   • I vettori sono normalizzati L2.
4. Clustering: Ridurre la dimensionalità tramite UMAP (o fallback PCA) a 30 dimensioni, quindi eseguire il clustering usando HDBSCAN.
5. Etichettatura: I cluster sono etichettati tramite esempi indotti da prompt LLM (utilizzando i 5 vicini più prossimi).

Protocollo di Validazione: Leave-One-Model-Out (LOMO)

Per validare la tassonomia senza circolarità, gli autori utilizzano un protocollo LOMO:

• Un modello ($m^*$) viene escluso.
• La tassonomia viene ricostruita utilizzando i restanti $N-1$ modelli.
• Il profilo di debolezza del modello escluso viene poi valutato rispetto a questa nuova tassonomia utilizzando due metriche:
  1. Efficienza Diagnostica: Quanto bene il campionamento condizionato dalla tassonomia (selezionare compiti per coprire tutti i cluster) recupera il ranking delle debolezze del modello escluso rispetto al campionamento casuale o stratificato? (Misurato tramite Kendall's $\tau$).
  2. Predizione Cross-Modello: Il profilo di fallimento del modello escluso può essere predetto in base alla sua somiglianza con i modelli di addestramento? (Misurato tramite AUC).

3. Contributi Chiave e Risultati

Il paper valida FAILURESCOPE attraverso tre distinti regimi, dimostrando che lo stesso primitivo produce cluster stabili e interpretabili in ciascuno di essi.

A. Benchmark Single-Turn

• Dataset: 2.664 compiti da 6 benchmark (GSM8K, ARC, MMLU, HumanEval, MBPP, IFEval) valutati su 18 modelli.
• Clustering: L'impostazione dominante sul comportamento ($\alpha=0.1$) produce 25 cluster stabili con un punteggio di silhouette di 0.12. Crucialmente, l'86,7% dei cluster attraversa più benchmark, indicando che le firme di fallimento trascendono i confini specifici dei dataset.
• Efficienza Diagnostica: Sotto LOMO, il campionamento condizionato dalla tassonomia raggiunge un Kendall's $\tau$ di 0.81 con 50 compiti. Questo è significativamente migliore del campionamento casuale ($\tau=0.34$) e del campionamento stratificato per benchmark ($\tau=0.64$).
• Predizione: La predizione del fallimento cross-modello raggiunge un AUC di 0.88 utilizzando un approccio basato sul modello più vicino.

B. Dialogo Multi-Turn

• Dataset: 363 conversazioni "frontier-hard" su 5 modelli frontier, che coprono 11 assi di abilità e 7 profondità conversazionali.
• Clustering: Il metodo recupera 6 cluster con un'alta silhouette di 0.92.
• Risultati Chiave:
  • Collasso del Contesto Profondo (Deep-Context Collapse): Un grande cluster (162 compiti, principalmente di profondità-6) dove tutti i modelli falliscono universalmente, un pattern non visibile nell'analisi single-turn.
  • Resilienza Selettiva del Modello: Un cluster (n=11) mostra Claude Sonnet 4.6 che fallisce in circa il 70% dei casi mentre altri modelli falliscono tra l'85 e il 100%.
  • Candidato Immune a DeepSeek: Un piccolo cluster (n=10) dove DeepSeek ha successo mentre le famiglie GPT e Claude falliscono. Gli autori trattano questo come un segnale generatore di ipotesi che richiede una replica su scala maggiore.

C. Attacchi Agentici Avversari

• Dataset: 630 tracce di agenti multi-turn contro un sandbox di esecuzione del codice, che coinvolgono tre famiglie di attacchi e tre modelli frontier.
• Clustering: Il metodo identifica 3 profili comportamentali distinti:
  1. Fallimento Meta dell'Valutazione: Un gap di 73–100 punti percentuali tra l'Attack Success Rate (ASR) dell'LLM-judge e l'ASR reale su esecuzione di rete durante gli attacchi di carico cognitivo. Il cluster rivela che l'strumento di valutazione (il judge) è inaffidabile, non il modello.
  2. Rifiuto Composizionale Selettivo: Claude Sonnet 4.6 mostra un profilo unico in cui rifiuta il payload malevolo al passo 2 (21/30 casi) nonostante abbia superato il primo passo, mentre GPT-5.4 esegue l'attacco il 92% delle volte.
  3. Compliance Composizionale: GPT-5.4 e GPT-5.4-mini mostrano alti tassi di esecuzione, formando un cluster di "compromissione genuina" distinto dai cluster di fallimento dello strumento e di rifiuto.

4. Significato e Claim

Il paper sostiene che il clustering comportamentale è un primitivo diagnostico portabile che si generalizza oltre qualsiasi singolo benchmark.

• Portabilità: Lo stesso algoritmo in cinque fasi produce tassonomie stabili e interpretabili attraverso i regimi single-turn, multi-turn e avversari. Gli autori sottolineano che, sebbene i punteggi di silhouette differiscano tra i regimi (0.12, 0.92, 0.71) a causa del diverso numero di cluster e dimensioni, la coerenza qualitativa e l'utilità a valle (alto $\tau$ e AUC) rimangono costanti.
• Efficienza: Il metodo consente una diagnosi strutturata ed efficiente. I professionisti possono valutare un nuovo modello su circa 50 compiti condizionati dalla tassonomia per recuperare un profilo di debolezza con alta fedeltà ($\tau=0.81$), o predire il profilo senza valutazione tramite la predizione cross-modello (AUC 0.88).
• Scoperta di Pattern Nascosti: L'approccio svela modalità di fallimento invisibili all'analisi di un singolo benchmark, come il collasso universale dipendente dalla profondità nel dialogo multi-turn e l'inaffidabilità degli LLM-judge in specifici contesti avversari.

5. Limitazioni e Ambito

Gli autori mantengono una posizione modesta sulle loro affermazioni:

• Estrapolazione: La validazione LOMO tiene per modelli all'interno dello stesso range di capacità. Non sostengono che una tassonomia costruita su modelli 7B–70B si trasferirebbe a sistemi significativamente più forti (es. classe GPT-5) senza essere ricostruita.
• Scarsità dei Dati: Il metodo si affida all'imputazione per i dati mancanti dei benchmark; dati di valutazione più ricchi probabilmente migliorerebbero la qualità del clustering.
• Soggettività dell'Etichettatura: Le etichette dei cluster sono generate da LLM. Sebbene la struttura sia robusta, le etichette specifiche delle modalità di fallimento (es. gap di ragionamento vs conoscenza) possono essere ambigue.
• Ambito: Il corpus single-turn non copre il ragionamento multimodale o i compiti a lungo contesto, sebbene i casi studio multi-turn affrontino alcuni di questi gap con pool di modelli più piccoli.

Il paper conclude rilasciando la pipeline, tre corpora annotati, tassonomie cross-regime e 1.203 compiti avversari generati per facilitare ulteriore ricerca nella diagnosi strutturata dei modelli.