Riepilogo Tecnico: HALvest-Contrastive

Enunciato del Problema

L'Attribuzione di Autorialità (AA) affronta una sfida persistente nota come confusione tematica. Gli approcci statistici e neurali tradizionali spesso faticano a distinguere tra similarità stilistica e sovrapposizione tematica; due autori che trattano lo stesso argomento appaiono frequentemente più simili a un modello rispetto a un singolo autore che tratta due argomenti diversi. Sebbene i sistemi neurali di AA abbiano adottato l'apprendimento contrastivo (ad esempio, la perdita triplet), spesso si basano sulla compressione di interi documenti in singoli vettori tramite pooling medio, una strategia ereditata dai primi metodi statistici ma potenzialmente subottimale per catturare segnali stilistici sfumati. Inoltre, i benchmark esistenti spesso non riescono a decoppiare rigorosamente il tema dall'autorialità, permettendo ai modelli di affidarsi a "scorciatoie tematiche" (sovrapposizione lessicale) piuttosto che apprendere vere distribuzioni stilistiche.

Metodologia

1. Il Corpus HALvest e il Benchmark HALvest-Contrastive

Gli autori introducono HALvest, un corpus multilingue di 17 miliardi di token estratto da 778.000 articoli scientifici open-access tramite il repository HAL. Da questo derivano HALvest-Contrastive, un benchmark in lingua inglese progettato per imporre il decoupling tematico:

• Coppie Positive: I passaggi di ancoraggio e positivi sono tratti da diversi articoli scritti dallo stesso insieme di autori, garantendo una sovrapposizione tematica minima mentre si mantiene la coerenza stilistica.
• Coppie Negative: I negativi sono estratti dallo stesso campo disciplinare ma da diversi insiemi di autori.
• Etichettatura: La verità fondamentale è l'insieme di autori (co-autori) piuttosto che un singolo individuo, riflettendo la struttura dei metadati dei repository scientifici ed evitando euristiche arbitrarie basate su un singolo autore.
• Lunghezze degli Span: Il dataset supporta lunghezze di span variabili ($k \in \{2, 4, 6, 8, 10\}$ frasi) per valutare come i segnali stilistici si scalano con la lunghezza del testo.

2. Architettura Simile al Recupero per l'AA

Il documento applica la "strategia di recupero" all'attribuzione di autorialità, allontanandosi dalla perdita triplet standard e dal pooling a vettore singolo:

• Funzione di Perdita: Gli autori impiegano InfoNCE (Stima Contrastiva del Rumore) invece della perdita triplet. InfoNCE sfrutta grandi pool di negativi nel batch, che concentrano naturalmente i gradienti sui negativi difficili (documenti tematicamente simili ma di autori diversi), aiutando nella decorrelazione dello stile dal tema.
• Granularità dell'Interazione: Il documento esamina tre modalità di punteggio:
  1. Pooling a Vettore Singolo: Pooling medio standard degli embedding dei token seguito da similarità coseno.
  2. Interazione Tardiva (LI): I documenti sono rappresentati come sequenze complete di vettori di token. Il punteggio utilizza MaxSim (somma delle massime similarità coseno tra i token della query e quelli del documento), una tecnica comune nel recupero denso (ad esempio, ColBERT).
  3. Interazione Tardiva a Livello di Patch (PLI): I vettori dei token sono raggruppati in patch contigue (o n-grammi fissi o parole intere), raggruppati in singoli vettori di patch e poi abbinati tramite MaxSim a livello di patch. Questo riduce i costi di archiviazione e computazionali mantenendo la granularità dell'interazione.

Contributi Chiave

1. HALvest e HALvest-Contrastive: Il rilascio di un corpus scientifico multilingue su larga scala e di un benchmark in inglese rigorosamente costruito che minimizza la sovrapposizione tematica tra coppie dello stesso autore, fornendo un protocollo di valutazione più rigoroso per la stilometria.
2. Validazione Empirica del Decoupling Tematico: Gli autori dimostrano che le linee di base lessicali (ad esempio, BM25) subiscono cali significativi delle prestazioni quando le scorciatoie tematiche vengono rimosse, mentre i modelli contrastivi neurali mantengono l'accuratezza, confermando che il benchmark isola con successo i segnali stilistici.
3. Studio sulla Granularità: Un confronto sistematico delle strategie di pooling rivela che l'Interazione Tardiva supera significativamente il pooling a vettore singolo. Crucialmente, il documento introduce l'Interazione Tardiva a Livello di Patch (PLI), mostrando che il raggruppamento dei token in patch produce un'accuratezza comparabile o leggermente migliore rispetto all'interazione a livello di token completo, riducendo al contempo il numero di vettori.
4. Adattamento Empirico della Dimensione della Patch: Gli autori identificano un'euristica pratica per la dimensione della patch ottimale $n^*$ rispetto al conteggio dei token $S$: $n^* \approx 0.18 \cdot \sqrt{S}$. Ciò suggerisce che la granularità di interazione ottimale scala in modo sub-lineare con la lunghezza del documento.

Risultati

• Decoupling Tematico: Sulla configurazione "Base" (ristretta), l'accuratezza di BM25 scende di circa 11 punti percentuali rispetto alla configurazione "Illimitata", mentre i modelli neurali (RoBERTa) mostrano robustezza, indicando che apprendono segnali oltre la sovrapposizione lessicale.
• Guadagni di Prestazione: Le varianti di Interazione Tardiva (LI) e PLI superano costantemente il pooling medio su tutte le metriche (Recall@k, nDCG@k) e lunghezze degli span. Il guadagno è di circa il 20% rispetto al pooling medio mantenendo l'encoder fisso e sostituendo lo scoratore.
• Compromessi sulla Granularità: Sebbene l'interazione tardiva a livello di token sia competitiva, la PLI a politica fissa (in particolare le varianti n-gram) spesso eguaglia o supera leggermente le prestazioni a livello di token con un minore sovraccarico computazionale. L'ottimale $n$ varia in base alla lunghezza degli span ma segue la tendenza $\sqrt{S}$.
• Generalizzazione Cross-Dominio: I modelli addestrati su HALvest-Contrastive raggiungono un'accuratezza triplet zero-shot forte (0,740) sul dataset di fan-fiction PAN19, suggerendo che le rappresentazioni apprese catturano lo stile dell'autorialità piuttosto che solo il registro accademico o il tema.
• Scalabilità dei Negativi: L'aumento della dimensione del pool di negativi nel batch (da 256 a 512) produce miglioramenti consistenti, sebbene piccoli, allineandosi alle scoperte nella letteratura sul recupero dell'informazione.

Significato e Affermazioni

Il documento sostiene che la prosa accademica è un banco di prova ideale per la stilometria a causa della sua natura a bassa entropia e standardizzata, che rende più facile isolare i residui stilistici dal rumore tematico. Applicando tecniche di recupero (InfoNCE e Interazione Tardiva) all'AA, gli autori dimostrano che:

1. L'AA è distinta dal recupero semantico: I modelli stilistici fine-tuned separano efficacemente le coppie dello stesso autore, mentre gli encoder semantici (come E5) non riescono a distinguere l'autorialità nonostante l'alta similarità semantica.
2. La granularità conta: La "strategia di recupero" si trasferisce in gran parte all'AA, ma la granularità di interazione ottimale è sottile. L'abbinamento a livello di token non è uniformemente superiore; l'uso di patch offre un'alternativa computazionalmente efficiente che preserva le prestazioni.
3. Utilità Pratica: La formula derivata $n^* \approx 0.18 \cdot \sqrt{S}$ fornisce un punto di partenza pratico per i professionisti che progettano sistemi di AA, bilanciando accuratezza con costi di archiviazione e inferenza.

Gli autori concludono che, sebbene il paradigma di recupero migliori le prestazioni dell'AA, la scelta specifica della granularità di interazione (patch vs. token) è una scelta di progettazione critica che differisce dai compiti standard di recupero semantico. Il lavoro fornisce codice open-source, script per la costruzione del corpus e il dataset stesso per facilitare la ricerca futura.