🤖 machine learning

Beyond Shapley: An Influence-Based Data Auditing Pipeline for LLM Alignment and Evaluation

Questo articolo introduce una pipeline di auditing dei dati scalabile e basata solo sull'inferenza che approssima i valori di Shapley per identificare ed eliminare efficientemente record conflittuali, erroneamente etichettati o non sicuri dai dataset e dai benchmark di allineamento degli LLM, riducendo così significativamente gli sforzi di audit manuale ed esponendo criticità fondamentali nella verità di base annotata dagli umani.

Autori originali: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Pubblicato 2026-07-28

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yunting Song, Matthew Watson, Peter Grabowski, Jun Qin

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot super intelligente come essere un assistente umano utile, sicuro e onesto. Non lo programmi con regole rigide; invece, gli mostri milioni di esempi di buone conversazioni e di cattive, lasciandogli imparare per esempio. È così che l'IA moderna acquisisce la sua "personalità" e i suoi filtri di sicurezza. Ma ecco il problema: il robot è bravo quanto le storie che gli racconti. Se il tuo libro di storie è pieno di refusi, bugie o contraddizioni confuse, il robot si confonderà e potrebbe iniziare ad agire in modo strano.

Per molto tempo, controllare questi libri di storie è stato come cercare una singola mela marcia in una montagna di frutta guardandole una per una. Era un processo lento, costoso e spesso mancava i problemi più sottili. Gli scienziati hanno provato a usare la matematica per capire quali storie fossero le più importanti, un metodo chiamato "valore di Shapley", ma fare l'esatto calcolo matematico sarebbe stato così pesante che richiederebbe un tempo infinito per una pila gigante di dati. La grande domanda è: come possiamo individuare rapidamente gli errori nascosti, le contraddizioni confuse e i consigli sbagliati in questi massicci libri di addestramento senza rileggere ogni singola pagina o ri-insegnare tutto al robot da zero?

Questo articolo presenta uno strumento investigativo ingegnoso chiamato "pipeline di auditing dei dati basata sull'influenza". Pensalo come una lente d'ingrandimento magica che non ha bisogno di rileggere l'intero libro per trovare gli errori. Invece di ri-addestrare il robot, i ricercatori usano un trucco: chiedono al robot: "Se ti mostro questa specifica storia prima di leggere questa successiva, ti aiuta a capire, o ti confonde?".

I ricercatori hanno costruito un sistema che raggruppa le storie simili e poi le testa come in un gioco di "trova le differenze". Prendono una storia e chiedono al robot di prevedere la fine. Poi, mostrano al robot una storia simile prima (come un suggerimento) e chiedono di nuovo al robot di prevedere la fine. Se la storia "suggerimento" rende la previsione del robot peggiore, è un enorme segnale di allarme. Significa che le due storie si stanno combattendo tra loro, come se una dicesse "Dì sempre la verità" e l'altra "Va bene mentire in questo caso".

Il team ha testato questo su due celebri collezioni di dati di addestramento. Per prima cosa, hanno esaminato un dataset chiamato HelpSteer2. Il loro strumento ha scoperto che, su migliaia di record, potevano ridurre la lista delle cose che gli umani dovevano controllare del 99,1%. Hanno scoperto errori nascosti in cui gli umani avevano dato punteggi perfetti a risposte che erano in realtà piene di fatti inventati o che ignoravano istruzioni importanti. Per esempio, hanno trovato casi in cui un robot veniva lodato per aver scritto un saggio dall'aspetto perfetto che conteneva date false e pubblicazioni scientifiche inventate, mentre un saggio simile con gli stessi fatti falsi veniva correttamente punito. Questo ha rivelato un "bias di superficialità", dove i revisori umani apprezzavano l'aspetto del testo ma non ne controllavano la veridicità dei fatti.

Successivamente, hanno esaminato un dataset chiamato HH-RLHF, utilizzato per insegnare ai robot a scegliere tra due risposte. Hanno scoperto migliaia di contraddizioni nascoste dove la risposta "corretta" scelta dagli umani era in realtà pericolosa o inutile. In un esempio spaventoso, un revisore umano ha scelto una risposta che suggeriva di versare candeggina negli occhi di qualcuno come scherzo, rifiutando al contempo una risposta sicura che chiedeva semplicemente chiarimenti. Lo strumento ha individuato questi rischi per la sicurezza che i controlli standard avevano mancato.

Forse la cosa più sorprendente è che, quando hanno usato questo strumento per controllare le domande d'esame (gli esami usati per valutare i robot), hanno scoperto che gli esami stessi erano guasti. Le risposte "corrette" nel banco delle prove erano spesso errate. In molti casi, i robot più intelligenti stavano in realtà scegliendo la risposta più sicura e migliore, ma il test le segnava come "sbagliate" perché la chiave di risposta scritta dall'uomo era difettosa. Ciò suggerisce che alcuni dei problemi più grandi nella sicurezza dell'IA potrebbero non essere i fallimenti dei robot, ma il fatto che i test siano ingiusti.

Gli autori avvertono che, sebbene il loro strumento matematico sia incredibilmente veloce ed efficace nel restringere il campo, ha ancora bisogno di un essere umano (o di un giudice IA molto intelligente) per prendere la decisione finale sul fatto che una storia sia davvero guasta. Non hanno corretto i dati essi stessi, ma hanno costruito una mappa altamente efficiente che mostra esattamente dove si trovano le buche, risparmiando ai ricercatori l'onere di dover guidare su ogni singolo centimetro di strada per trovarle. Usando questo metodo, hanno ridotto il lavoro di controllo di un enorme dataset dal dover esaminare migliaia di elementi al dover controllare solo poche decine di sospetti ad alta priorità, dimostrando che a volte, il modo migliore per trovare la verità è vedere come i pezzi di un puzzle si spingono e si tirano a vicenda.

Riepilogo Tecnico: Oltre Shapley: Una Pipeline di Audit dei Dati Basata sull'Influenza per l'Allineamento e la Valutazione degli LLM

Definizione del Problema

L'allineamento dei Large Language Models (LLM) è sempre più limitato dalla qualità dei dati piuttosto che dall'architettura del modello. Man mano che i dataset scalano, enormi corpora di preferenza e di fine-tuning delle istruzioni accumulano contraddizioni strutturali nascoste, rischi di sicurezza ed errori sistemici di annotazione umana. Gli attuali metodi di auditing affrontano limitazioni significative:

Dedubplicazione Semantica: Efficace nel trovare duplicati testuali, ma fallisce nel catturare l'utilità funzionale o l'impatto predittivo dei singoli record.
LLM-as-a-Judge: Sebbene scalabile, questi metodi si affidano a rubriche definite dall'uomo, mostrano spesso bias (ad esempio, verso la lunghezza della risposta) e non possono determinare matematicamente come un record influenzi la distribuzione predittiva di un modello.
Data Shapley: Fornisce un framework rigoroso per la valutazione dei dati, ma è computazionalmente proibitivo ( $O(2^N)$ ) per grandi dataset. Le approssimazioni esistenti mancano di granularità a livello di record (richiedendo raggruppamenti grossolani) o sono limitate a compiti di classificazione/regressione, fallendo nel rispondere alla meccanica generativa degli LLM.

Esiste un vuoto critico nella capacità di eseguire una valutazione dei dati punto per punto, a livello di record, per gli LLM generativi senza richiedere il costoso riaddestramento del modello o il campionamento iterativo dei dati.

Metodologia

Gli autori propongono una pipeline di valutazione dei dati basata solo sull'inferenza e scalabile, che approssima il valore di Shapley misurando il contributo marginale dei punti dati attraverso spostamenti della log-likelihood condizionale. Il flusso di lavoro consiste in due fasi primarie:

Fase 1: Misurazione dell'Influenza

Costruzione del Vicinato Semantico: I prompt vengono proiettati in uno spazio vettoriale denso (usando Qwen3-Embedding-4B). Le istruzioni di sistema statiche vengono rimosse per prevenire la diluizione vettoriale. Viene costruito un grafo $k$ -Nearest Neighbor ( $k$ -NN) basato sulla similarità del coseno.
Scoring Zero-Shot e One-Shot: Per un record target $(x_i, y_i)$ $(x_{i}, y_{i})$ e un vicino $(x_j, y_j)$ $(x_{j}, y_{j})$ , la pipeline calcola la log-likelihood condizionale della risposta target $y_i$ $y_{i}$ sotto due condizioni:
- Baseline ( $LL_{base}$ ): La probabilità di $y_i$ dato solo $x_i$ .
- Probe ( $LL_{probe}$ ): La probabilità di $y_i$ dato un prompt composito dove $(x_j, y_j)$ funge da dimostrazione one-shot prima di $x_i$ .
Calcolo dell'Influenza: L'influenza predittiva ( $\Delta LL$ ) è definita come la differenza: $\Delta LL_{i,j} = LL_{probe}(i, j) - LL_{base}(i)$ . Un $\Delta LL$ positivo indica un'influenza costruttiva, mentre un valore negativo suggerisce una contraddizione comportamentale in cui il vicino degrada la probabilità predittiva del target.
Costruzione del Grafo Diretto: Viene costruito un grafo diretto $G=(V, E)$ dove gli archi rappresentano il flusso di influenza dal vicino al target, pesato da $\Delta LL$ .

Fase 2: Derivazione delle Metriche e Auditing

Dal grafo, vengono derivate tre metriche per ogni nodo:

Exemplified Advantage (Influenza Passiva): Misura l'influenza aggregata che un record riceve dai suoi vicini in entrata. Valori elevati suggeriscono ridondanza.
Exemplifying Advantage (Influenza Attiva): Misura il contributo predittivo che un record esercita sui suoi vicini in uscita. Questo approssima il valore di Data Shapley trattando l'apprendimento in-context one-shot come un surrogato a gradiente zero per gli aggiornamenti dei parametri.
One of a Kind Score (Unicità Topologica): Quantifica l'unicità strutturale basata sull'asimmetria del recupero $k$ -NN (record che recuperano vicini ma sono raramente recuperati essi stessi).

Paradigmi di Rilevamento delle Contraddizioni:

Unsupervised (Etichette Implicite): Identifica i nodi in cui i vantaggi esemplificati o exemplifying scendono sotto una soglia ( $\tau_{adv}$ ), cercando specificamente i Mutual Nearest Neighbors (MNN) che si degradano mutuamente la probabilità predittiva.
Supervised (Etichette Esplicite): Un processo a due stadi per i dataset di modelli di ricompensa. In primo luogo, isola i record "gold standard" (con alto rating umano) con vantaggi di exemplifying negativi. In secondo luogo, esegue la "Twin Verification" cercando vicini con bassi rating che presentano comportamenti di risposta simili per identificare inconsistenze tra annotatori.

Contributi Chiave

Framework di Valutazione Basato sull'Influenza: Il documento introduce una pipeline altamente scalabile, basata solo sull'inferenza, che approssima i valori di Shapley per gli LLM generativi. A differenza dei metodi precedenti, opera in $O(K)$ passaggi forward (dove $K$ è la dimensione del vicinato) senza riaddestramento del modello o clustering, generalizzando alla generazione aperta e ai dati di preferenza a coppie.
Rilevamento delle Contraddizioni Strutturali: La pipeline svela contraddizioni strutturali nascoste in dataset ampiamente utilizzati (HelpSteer2 e HH-RLHF) che le metriche di similarità standard non rilevano. Identifica record premiati dall'uomo che nascondono errori strutturali (ad esempio, allucinazioni fattuali, vincoli ignorati) che degradano le prestazioni del modello.
Esposizione delle Vulnerabilità dei Benchmark: Auditando la divisione di valutazione di HH-RLHF, il lavoro dimostra che i modelli altamente capaci prevedono frequentemente la risposta più sicura o utile, ma vengono penalizzati da etichette ground-truth umane oggettivamente errate, rivelando vulnerabilità nell'integrità degli attuali benchmark.

Risultati Sperimentali

La pipeline è stata valutata su due dataset utilizzando Qwen3.5-9B come modello target e Gemini 3.1 Pro per l'arbitrato esperto.

Caso di Studio 1: HelpSteer2

Processo: Applicato a 21.362 record, concentrandosi su 8.434 record con punteggi di utilità umana perfetti (4/4).
Efficienza: Ha ridotto lo spazio di ricerca dell'audit manuale del 99,1% (da 8.434 record a 77 coppie candidate).
Risultati: Ha identificato 18 coppie di contraddizione e 10 record unici erroneamente etichettati come perfetti. Gli errori includevano allucinazioni fattuali (es. date del calendario errate), vincoli di formattazione ignorati e citazioni accademiche fabbricate.
Insight: Ha rivelato un "bias di superficialità" nell'annotazione umana, dove testi strutturalmente corretti ma fattualmente fraudolenti ricevevano punteggi alti.

Caso di Studio 2: HH-RLHF

Audit dei Dati di Training: Ha identificato 4.238 contraddizioni e 2.841 record unici problematici. Le categorie includevano violazioni della sicurezza (es. premiare la compliance tossica), allucinazioni, evasione non utile e fallimenti strutturali.
Audit dei Dati di Valutazione: Applicato alla divisione di valutazione, isolando 108 record unici con confermate contraddizioni strutturali.
Disaccordo del Modello: Quando testata su questi record isolati "difettosi", il tasso di disaccordo con le etichette umane è aumentato significativamente rispetto al baseline:
- Qwen3.5-9B (FT): Il disaccordo è salito dal 28,9% (set completo) al 62,04% (sottogruppo verificato).
- Qwen3.5-27B: Il disaccordo è salito dal 28,67% al 75,00%.
- Gemma3-12B: Il disaccordo è salito dal 38,34% al 63,89%.
Conclusione: L'alto tasso di disaccordo conferma che i modelli spesso prevedevano il comportamento corretto, ma le etichette del benchmark erano oggettivamente errate.

Significato e Limitazioni

Significato:
Il documento fornisce uno strumento diagnostico efficiente e matematicamente fondato per scoprire i fallimenti delle etichette umane e sanificare i benchmark di valutazione. Sposta il paradigma dai calcoli di Shapley basati sul riaddestramento, computazionalmente proibitivi, a un approccio trattabile basato solo sull'inferenza che mantiene la granularità a livello di record. Ciò consente l'identificazione rapida di errori di annotazione sistemici e la validazione dell'integrità dei benchmark.

Limitazioni:

Dipendenza dalla Verifica: La verifica finale si affida a valutatori LLM (es. Gemini), il che può introdurre bias soggettivi e non determinismo.
Filtro vs Rilevatore: La metrica $\Delta LL$ agisce come un filtro di anomalie che riduce lo spazio di ricerca di circa il 99%, ma richiede comunque un arbitro per confermare gli scontri semantici.
Precisione vs Richiamo: Le soglie rigide privilegiano la precisione, il che significa che la pipeline non cattura la totalità degli errori del dataset (ad esempio, i 108 errori isolati in HH-RLHF non tengono conto dell'intero tasso di disaccordo del ~30% dei modelli base).
Scalabilità della Ground Truth Umana: Stabilire una ground truth umana su larga scala per gli errori di annotazione rimane proibitivamente costoso, limitando la capacità di validare completamente il richiamo (recall) della pipeline.