Sintesi Tecnica: Dipendenza dal Contesto e Affidabilità nei Modelli di Linguaggio Autoregressivi

Definizione del Problema

I modelli di linguaggio autoregressivi (LLM) generano output condizionandoli su contesti estesi e strutturati che spesso contengono istruzioni ridondanti, fatti ripetuti, passaggi recuperati e cronologia delle interazioni. In applicazioni critiche (ad esempio, nei domini medico o legale), è essenziale identificare quali specifici elementi del contesto siano realmente responsabili di un output. Tuttavia, i metodi di spiegazione standard — come la visualizzazione dell'attenzione, la salienza del gradiente e l'ablazione basata sulla perturbazione — faticano in questo compito in presenza di ridondanza.

Il problema centrale è la ridondanza del contesto. Quando molteplici elementi del contesto trasmettono informazioni sovrapponibili o identiche, i metodi esistenti tendono a sbagliare l'assegnazione del credito. Possono distribuire l'importanza equamente tra i duplicati, suggerendo che fossero necessari più fonti indipendenti quando ne era sufficiente una sola. Inoltre, questi metodi mostrano instabilità: piccole variazioni nella struttura dell'input (ad esempio, il riordinamento dei chunk recuperati o la parafrasi delle istruzioni) possono causare spostamenti imprevedibili nei punteggi di attribuzione, anche se l'output del modello rimane identico. Questa sensibilità mina l'interpretabilità e crea rischi di sicurezza, come negli scenari di prompt injection in cui istruzioni malevole ripetute nella memoria o nel contesto potrebbero essere erroneamente accreditate come influenti.

L'articolo sostiene che il fallimento fondamentale sia la mancanza di consapevolezza della dipendenza. Gli attuali metodi misurano spesso l'importanza marginale o le correlazioni superficiali piuttosto che il contributo unico e condizionale di un elemento del contesto rispetto al resto del prompt.

Metodologia: RISE

Per affrontare queste sfide, gli autori propongono RISE (Redundancy-Insensitive Scoring of Explanation), un metodo progettato per quantificare l'influenza unica di ogni elemento di input condizionata al resto del contesto.

Concetto Core: Dipendenza Unica Condizionale (CUD)

RISE si basa sulla teoria dell'informazione. Invece di misurare quanto un'unità di contesto $C_i$ correli con l'output $\hat{T}$, misura la Dipendenza Unica Condizionale (CUD):
$$\Delta_i \triangleq I(C_i; \hat{T} \mid C_{\setminus i})$$
dove $I(\cdot)$ indica l'informazione mutua condizionale, $C_i$ è una specifica unità di contesto (ad esempio, un'istruzione di sistema, un chunk recuperato o un turno di dialogo) e $C_{\setminus i}$ rappresenta tutte le altre unità di contesto. Questo metric quantifica l'informazione che $C_i$ fornisce riguardo alla generazione e che non può essere recuperata dal contesto rimanente.

Il Punteggio RISE

Per consentire il confronto tra le unità, i valori CUD vengono normalizzati in un punteggio RISE:
$$\text{RISE}(C_i) = \frac{\text{CUD}(C_i; \hat{T} \mid C_{\setminus i})}{\sum_{j=1}^m \text{CUD}(C_j; \hat{T} \mid C_{\setminus j}) + \epsilon}$$
Questa formulazione assicura che:

1. Soppressione della Ridondanza: Se un'unità è un duplicato di un'altra (o completamente recuperabile dal resto), la sua informazione mutua condizionale è zero, e riceve un'attribuzione nulla.
2. Stabilità: L'aggiunta di contesto ridondante non altera i punteggi di attribuzione delle unità originali e informative.
3. Granularità a Livello di Contesto: RISE opera su unità di contesto strutturate (ad esempio, segmenti di prompt, chunk RAG) piuttosto che su singoli token, rendendolo adatto all'audit di pipeline complesse.

Varianti di Implementazione

L'articolo delinea due implementazioni di questo principio:

1. RISE-Lite: Un modulo di scoring leggero e agnostico rispetto al modello che calcola punteggi consapevoli della dipendenza per l'auditing e il monitoraggio senza modificare il modello.
2. Selettore Integrato Appreso (Integrated Learned Selector): Una rete di gating addestrabile che utilizza il principio della dipendenza consapevole per selezionare un sottoinsieme sparso di unità di contesto (mantenendo una finestra recente obbligatoria e i top-$K$ anchor unici) durante l'inferenza. Ciò riduce la dimensionalità dell'input preservando l'informazione essenziale.

Contributi Chiave

1. Identificazione della Ridondanza come Modalità di Fallimento: Gli autori identificano che i metodi di spiegazione standard non riescono a distinguere tra contesto essenziale e mera ripetizione, portando a un "sovra-credito" di elementi di distrazione e all'instabilità sotto parafrasi o riordinamento.
2. Attribuzione Consapevole della Dipendenza: Il documento propone l'informazione condizionale come fondamento rigoroso per un'attribuzione affidabile, introducendo RISE per valutare l'importanza delle unità di contesto strutturate in base al loro contributo unico.
3. Validazione Empirica: Attraverso esperimenti controllati su prompting ridondante e Generazione Aumentata da Recupero (RAG), gli autori dimostrano che RISE produce spiegazioni significativamente più stabili e robuste rispetto ai metodi tradizionali basati sulla perturbazione, in particolare riducendo l'inflazione dell'importanza guidata dalla ridondanza.

Risultati Sperimentali

Gli autori hanno valutato RISE rispetto alle euristiche basate sull'attenzione e ai baseline basati sulla perturbazione (ad esempio, LOUO) utilizzando GPT-2 e modelli autoregressivi open-weight sul dataset SQuAD v1.1 e su test di ridondanza sintetica.

• Sensibilità alla Ridondanza: I metodi baseline hanno mostrato un alto "Dup-Split" (frammentazione del credito tra i duplicati) e sensibilità ai cambiamenti di forma superficiale. Al contrario, RISE ha mantenuto un basso Dup-Split, sopprimendo efficacementmente il credito per le unità ridondanti.
• Stabilità vs. Fedeltà (Faithfulness): Mentre i metodi di attenzione hanno mostrato un'alta stabilità di rango (dovuta alla diffusione del credito tra i duplicati) e i metodi di perturbazione hanno mostrato un'alta stabilità (spesso collassando su unità strutturalmente necessarie come la domanda), RISE ha dato priorità all'invarianza rispetto alla ridondanza. Ha intenzionalmente riallocato il credito lontano dalle copie ridondanti verso le unità unicamente informative.
• Dominanza Strutturale: Si è scoperto che i metodi basati sulla perturbazione collassano sull'unità "Domanda" perché rimuoverla interrompe la generazione indipendentemente dall'evidenza semantica. RISE-Lite ha evitato questo problema condizionandosi sul contesto rimanente, identificando correttamente l'evidenza informativa anche quando la domanda era presente.
• Fedeltà: Nei test di rimozione, RISE ha dimostrato un gap di fedeltà positivo, indicando che la rimozione delle unità con il ranking più alto riduceva significativamente la probabilità della risposta corretta, mentre i metodi basati sull'attenzione mostravano gap negativi.

Significato e Rivendicazioni

L'articolo sostiene che la consapevolezza della dipendenza sia critica per costruire sistemi di IA affidabili. Spostando l'attribuzione dalle associazioni superficiali alla vera dipendenza condizionale, RISE affronta tre specifici modi di fallimento:

1. Sovra-credito di Distrattori: Impedisce l'illusione che molteplici fonti indipendenti concordino quando l'informazione era semplicemente duplicata.
2. Instabilità: Garantisce che le spiegazioni rimangano coerenti nonostante la parafrasi o il riordinamento del contesto.
3. Suscettibilità alla Manipolazione: Riduce il rischio che istruzioni malevole iniettate o ripetute siano erroneamente accreditate come influenti.

Gli autori sottolineano che RISE non richiede l'accesso ai meccanismi interni del modello (come neuroni o teste di attenzione) e si basa esclusivamente sul comportamento osservabile input-output, rendendolo adatto al monitoraggio in tempo reale, all'auditing e agli interventi di sicurezza nei sistemi agentici e RAG. Il lavoro conclude che sopprimere la ridondanza non rimuove l'informazione essenziale, ma impedisce che l'importanza cresca con la ripetizione, producendo spiegazioni che riflettono la dipendenza unica piuttosto che la frequenza.