Riepilogo Tecnico: Dove Emerge il Segnale di Autorialità nei Modelli Linguistici Basati su Encoder?

Enunciato del Problema

I sistemi di attribuzione dell'autorialità (AA) impiegano tipicamente un paradigma di apprendimento contrastivo in cui un encoder di testo preaddestrato genera rappresentazioni per i passaggi e una funzione di punteggio confronta queste rappresentazioni per determinare la similarità autoriale. Un lavoro recente (Kulumba et al., 2025) ha rivelato un enigma sorprendente: modelli fine-tuned con lo stesso encoder preaddestrato, dati di addestramento e perdita contrastiva possono mostrare un divario di prestazioni di quattro volte basato esclusivamente sul loro meccanismo di punteggio. Nello specifico, i modelli che utilizzano il mean pooling (media degli embedding dei token in un singolo vettore) performano significativamente peggio rispetto a quelli che utilizzano l'Interazione Tardiva (LI) (confronto diretto dei vettori dei token tramite MaxSim).

La domanda centrale affrontata da questo articolo è la fonte di questa discrepanza. Sono state considerate due ipotesi:

1. Ipotesi di Apprendimento delle Rappresentazioni: Diversi meccanismi di punteggio causano all'encoder l'apprendimento di rappresentazioni interne fondamentalmente diverse durante il fine-tuning.
2. Ipotesi di Lettura (Readout): L'encoder apprende rappresentazioni simili indipendentemente dallo scorer, e il divario di prestazioni deriva da come tali rappresentazioni vengono lette (punteggiate) al momento dell'inferenza.

Metodologia

Gli autori impiegano strumenti di interpretabilità meccanicistica per distinguere tra la disponibilità delle caratteristiche (se l'informazione è presente negli stati nascosti) e il loro utilizzo (se il meccanismo di punteggio si basa causalmente su tale informazione). Lo studio utilizza il seguente setup sperimentale e strumenti:

• Modelli: Tre modelli fine-tuned che condividono un backbone ModernBERT-base (23 livelli, 149M parametri) sono stati addestrati sul corpus HALvest-Contrastive (un corpus accademico in cui l'argomento è decorrelato dall'autorialità). I modelli differivano solo nel loro meccanismo di punteggio:
  • Layerwise (Mean Pooling): Media gli embedding dei token prima del punteggio.
  • Interazione Tardiva (LI): Utilizza MaxSim a livello di token.
  • Interazione Tardiva a Livello di Patch (PLI): Un ibrido che utilizza patch di bigrammi con MaxSim.
  • È stato incluso un modello di controllo (E5, zero-shot).
• Set di Probe: Un set curato di 148 terne (ancora, positivo, negativo) con lunghezze di token controllate (target 130) e stratificate per difficoltà (Livello A: autori disgiunti; Livello B: parziale sovrapposizione autoriale; Livello C: cross-dominio).
• Strumenti di Analisi:
  1. Probe LISA: Sonde di regressione lineare addestrate su ciascuno dei 23 livelli dell'encoder per misurare la leggibilità lineare delle caratteristiche stilistiche (es. lunghezza delle parole, densità della punteggiatura, frequenza delle parole funzionali).
  2. Patching dello Stream Residuale: Un'intervento causale in cui gli stati nascosti di un passaggio "corrotto" (negativo) vengono sostituiti con quelli di un passaggio "pulito" (positivo) a livelli specifici. Il recupero del rango misura se il modello classifica correttamente il positivo sopra il negativo dopo questo intervento, identificando il livello in cui il segnale autoriale diventa causalmente necessario.
  3. Sensibilità del Punteggio: Misura la variazione assoluta nell'output di punteggio quando le attivazioni di un singolo livello vengono ripristinate.
  4. Dinamiche di Addestramento: Analisi di patching applicata su otto checkpoint di addestramento per osservare l'evoluzione della consolidazione del segnale.

Risultati Chiave

1. La Disponibilità delle Caratteristiche è Invariante

I risultati delle sonde LISA (Figura 3) mostrano che le caratteristiche stilistiche sono linearmente leggibili dagli stati nascosti di tutti i modelli (Mean Pooling, LI, PLI e il controllo E5) a tutti i livelli con punteggi $R^2$ quasi identici.

• Implicazione: Il backbone preaddestrato codifica già le caratteristiche stilistiche. Il fine-tuning contrastivo non crea nuove rappresentazioni stilistiche, né diversi scorer costringono l'encoder ad apprenderne di diverse. Questo esclude l'Ipotesi di Apprendimento delle Rappresentazioni.

2. Il Patching Causale Rivela un Profilo di Profondità Dipendente dallo Scorer

Le curve di recupero del rango (Figura 4) dimostrano un distinto "punto di consolidamento" in cui la capacità del modello di recuperare la classificazione corretta dipende dal meccanismo di punteggio:

• Mean Pooling: Il consolidamento del segnale avviene precocemente. Il recupero del rango supera la linea di base casuale al livello 9 e raggiunge un recupero quasi perfetto al livello 13.
• Interazione Tardiva (LI) e PLI: Il consolidamento del segnale è differito. Il recupero del rango rimane sotto la casualità fino ai livelli 14–16, raggiungendo un recupero elevato solo negli ultimi livelli.
• Divario: Esiste un costante divario di 6 livelli nella profondità alla quale il segnale autoriale diventa causalmente necessario.

3. Struttura del Gradiente e Perdita di Informazione

L'articolo deriva una spiegazione teorica basata sulla distribuzione del gradiente:

• Mean Pooling: Produce un gradiente denso e uniforme su tutti i token. Questo costringe l'encoder a comprimere tutte le informazioni rilevanti per l'autorialità in un singolo vettore all'inizio della rete per sopravvivere al processo di media. Ciò crea un "collo di bottiglia di consolidamento" e porta a una perdita di informazione (Disuguaglianza di Elaborazione dei Dati), poiché la media invariante per permutazione scarta la struttura posizionale.
• Interazione Tardiva: Produce un gradiente sparso e selettivo (solo i token selezionati da argmax ricevono aggiornamenti). Questo permette all'encoder di preservare la struttura per-token e differire il consolidamento a livelli più profondi e astratti.

4. Dinamiche di Addestramento

L'analisi dei checkpoint di addestramento (Figura 6) rivela traiettorie di apprendimento distinte:

• Mean Pooling: Apprende dall'alto verso il basso. Il modello inizialmente si affida ai livelli superiori, e il punto di consolidamento migra verso il basso (dal livello 15 al livello 9) man mano che l'addestramento procede, reclutando progressivamente livelli più profondi per soddisfare il collo di bottiglia di consolidamento precoce.
• Interazione Tardiva: Mostra un picco transitorio nei livelli iniziali (livelli 5–10) a stadi intermedi di addestramento, sfruttando corrispondenze lessicali superficiali. Man mano che l'addestramento continua e i negativi diventano più difficili, il modello sopprime questa scorciatoia e sposta la dipendenza verso livelli più profondi (19+).
• PLI: Mostra un'emergenza graduale senza il picco iniziale, mostrando un'increspatura unica nei livelli intermedi (livelli 10–15) nel checkpoint finale.

Significato e Affermazioni

L'articolo afferma di risolvere l'enigma del divario di prestazioni di quattro volte nell'attribuzione dell'autorialità dimostrando che il collo di bottiglia non risiede in ciò che l'encoder apprende, ma in come lo scorer lo legge.

• Dissociazione tra Disponibilità e Utilizzo: Lo studio fornisce prove empiriche che l'alta disponibilità delle caratteristiche (accuratezza delle sonde) è un cattivo proxy per le prestazioni del compito quando i meccanismi di punteggio differiscono. Tutti i modelli possiedono le caratteristiche stilistiche necessarie; la differenza risiede nella necessità causale di tali caratteristiche a profondità specifiche.
• Meccanismo del Fallimento: Il mean pooling forza un consolidamento precoce del segnale, che distrugge le informazioni stilistiche fini (come l'ordine delle parole e le interazioni specifiche dei token) necessarie per un'AA ad alte prestazioni. L'interazione tardiva preserva questa granularità permettendo al modello di utilizzare rappresentazioni più profonde e contestualizzate.
• Contributo Teorico: Il lavoro collega la struttura del gradiente della funzione di punteggio (denso vs sparso) direttamente alla profondità del consolidamento del segnale nell'encoder, offrendo una spiegazione meccanicistica del motivo per cui i sistemi basati sull'interazione superano costantemente le rappresentazioni aggregate nei compiti di AA.

Gli autori concludono che il limite primario nell'attribuzione dell'autorialità contrastiva non è la capacità dell'encoder di codificare lo stile, ma la capacità del meccanismo di punteggio di preservare e sfruttare tale stile senza una compressione prematura.