Riepilogo Tecnico: DistilledGemma per l'Estrazione di Relazioni Persona-Luogo

Definizione del Problema

Il documento affronta la sfida dell'Estrazione di Relazioni Persona-Luogo da articoli di giornale storici multilingue, specificamente nel contesto del task condiviso HIPE-2026. L'obiettivo è classificare la relazione tra entità persona e luogo estratte in testi inglesi, tedeschi e francesi. Il compito prevede la previsione di due relazioni specifiche:

1. at: Se la persona è stata associata al luogo in passato (etichette: TRUE, PROBABLE, FALSE).
2. isAt: Se la persona si trova nel luogo all'interno dell'orizzonte temporale immediato dell'articolo (etichette: TRUE, FALSE).

Il compito presenta ostacoli significativi, tra cui:

• Testo OCR Rumoroso: I documenti storici contengono frequenti errori di riconoscimento ottico dei caratteri che degradano la qualità delle menzioni delle entità.
• Sbilanciamento delle Classi: Le etichette negative dominano il dataset (circa il 55% per at e il 78% per isAt), influenzando i modelli verso previsioni errate.
• Ragionamento Multilingue: I modelli devono operare in modo coerente attraverso tre lingue tipologicamente diverse con disponibilità di dati variabili.
• Evidenza Implicita: Molte connessioni sono implicite piuttosto che esplicite, richiedendo conoscenza del mondo e inferenza contestuale.

Sebbene i Large Language Models (LLM) mostrino potenziale, l'implementazione di modelli con capacità sufficiente (ad esempio, 26B+ parametri) per l'elaborazione di milioni di documenti storici è computazionalmente impraticabile. La domanda centrale della ricerca è se le capacità di estrazione delle relazioni di un LLM di grandi dimensioni, finemente regolato, possano essere distillate in un modello più piccolo adatto all'implementazione pratica senza una perdita catastrofica di prestazioni.

Metodologia

Gli autori propongono DistilledGemma, una pipeline di distillazione della conoscenza in tre fasi progettata per bilanciare l'accuratezza della classificazione con l'efficienza computazionale.

Fase 1: Selezione del Modello e Prompt Engineering

Gli autori hanno valutato sistematicamente otto configurazioni di LLM appartenenti a quattro famiglie (Gemma, Qwen, Mistral, HY-MT) utilizzando varie strategie di prompt engineering.

• Design del Prompt: Sono state testate cinque varianti di prompt, con un template di Chain-of-Thought (CoT) che si è rivelato il più efficace. Questo prompt inquadra il modello come uno storico, definisce esplicitamente le relazioni at e isAt, impone vincoli logici (ad esempio, se isAt è TRUE, allora at deve essere TRUE) e richiede output JSON concisi e basati sull'evidenza.
• Selezione: Il modello Gemma 4 26B A4B è stato selezionato come "insegnante" (teacher) grazie alla sua superiore recall macro-media zero-shot (0.7255) e alla sua affinità con la famiglia target dello studente.

Fase 2: Fine-Tuning del Teacher e Generazione di Dati Silver

Il modello insegnante selezionato è stato sottoposto a fine-tuning tramite QLoRA (Quantized Low-Rank Adaptation) sui dati di addestramento HIPE.

• Configurazione: Loano rank $r=32$, $\alpha=64$, applicato a tutte le proiezioni di attenzione e MLP. L'addestramento è durato 3 epoche con una dimensione del batch di 32 (tramite accumulo del gradiente).
• Generazione dei Dati: Il modello insegnante, dopo il fine-tuning, ha generato dati di addestramento silver-standard per l'intero corpus. Fondamentalmente, questi output includevano non solo le etichette predette, ma anche le spiegazioni Chain-of-Thought, catturando il processo di ragionamento dietro ogni decisione.

Fase 3: Distillazione dello Studente

Un modello compatto Gemma 4 E2B (circa 2.3B di parametri) ha funto da "studente" (student).

• Strategia di Addestramento: Lo studente è stato addestrato sui dati silver generati dal teacher utilizzando QLoRA ($r=16, \alpha=32$) per 6 epoche.
• Approccio di Distillazione: Si è trattato di una distillazione a livello di risposta (response-level distillation) in cui lo studente ha imparato a imitare i pattern di ragionamento strutturato e gli output di etichetta del teacher, piuttosto che addestrarsi esclusivamente su etichette gold.
• Implementazione: Gli adapter LoRA sono stati fusi nel modello base per l'inferenza, risultando in un modello implementabile da 2.3B di parametri.

Post-Processing

Per affrontare lo sbilanciamento delle classi e garantire la coerenza semantica, è stato applicato a tutti gli output un passaggio di post-processing basato su regole. Questo ha imposto:

1. Compatibilità del tipo di entità.
2. Vincoli di direzione della relazione (persona-verso-luogo).
3. Pattern di trigger contestuali.
4. Vincoli logici (specificamente, isAt=TRUE implica at=TRUE).

Risultati Chiave

Il sistema, presentato dal team "WHEREAMI", ha ottenuto i seguenti risultati nella valutazione ufficiale HIPE-2026:

• Profilo di Accuratezza Standard: Classificato al 3° posto con un punteggio medio di profilo di 0.688.
• Profilo di Accuratezza Binaria: Classificato al 2° posto con un punteggio medio di profilo di 0.8156.
• Profilo Bilanciato Efficienza-Accuratezza: Classificato al 2° posto sia sui test set standard che su quelli binari.

Efficacia della Distillazione:

• Il modello studente distillato da 2.3B ha recuperato circa l'88% delle prestazioni di recall macro-media del teacher da 26B.
• Ciò è stato ottenuto con una riduzione di 11 volte del numero di parametri implementati.
• Lo studente distillato ha superato diversi modelli zero-shot più grandi (ad esempio, Qwen3.5 9B e Gemma 4 E4B) in termini di recall macro-media, validando il fatto che la distillazione può colmare il divario di prestazioni tra modelli piccoli e grandi.

Efficienza:

• Il modello studente da 2.3B può essere servito su una singola GPU consumer (< 8 GB di VRAM), elaborando circa 50 coppie al secondo.
• Al contrario, il teacher da 26B richiede hardware ad alta memoria ed è stato utilizzato solo offline per la generazione dei dati.

Significato e Rivendicazioni

L'articolo afferma che DistilledGemma fornisce una soluzione pratica e scalabile per l'elaborazione di documenti storici. La sua importanza primaria risiede nel dimostrare che:

1. La Distillazione della Conoscenza è Viabile per la NLP Storica: È possibile trasferire capacità di ragionamento complesso da un grande LLM fine-tuned a un modello compatto senza una significativa degradazione delle prestazioni.
2. Il Trasferimento del Ragionamento è Fondamentale: L'addestramento sulle tracce Chain-of-Thought del teacher (distillazione a livello di risposta) permette allo studente di apprendere pattern di inferenza strutturati, il che è più efficace rispetto all'addestramento sulle sole etichette, specialmente per compiti che richiedono una valutazione sfumata delle evidenze.
3. Compromesso Efficienza-Accuratezza: L'approccio raggiunge prestazioni competitive nell'estrazione di relazioni multilingue senza i costi computazionali eccessivi associati all'implementazione di modelli da 26B+ parametri, rendendolo adatto a pipeline di digital humanities su larga scala.

Gli autori concludono che, sebbene i modelli grandi dominino nei contesti zero-shot, una pipeline di distillazione accuratamente progettata offre un equilibrio superiore per gli scenari di implementazione nel mondo reale dove le risorse computazionali sono limitate.