Sintesi Tecnica: Calibrazione della Affidabilità a Livello di Entità Post-Hoc per il Named Entity Recognition tramite Caratteristiche Multi-Fonte

1. Definizione del Problema

Sebbene i Modelli di Linguaggio Pre-addestrati (PLM) abbiano spinto le prestazioni del Named Entity Recognition (NER) verso la saturazione sui benchmark standard (es. CoNLL-2003), i protocolli di valutazione esistenti trascurano ampiamente la affidabilità della confidenza della predizione. In contesti di implementazione reale, i modelli spesso esibiscono il fenomeno "troppo sicuro di sé ma errato" (overconfident but wrong), particolarmente sotto shift di distribuzione come il trasferimento di dominio (Out-of-Distribution/OOD), token Out-of-Vocabulary (OOV) e rumore (errori di battitura).

Le attuali limitazioni includono:

• Disallineamento della Granularità: La maggior parte dei metodi di calibrazione opera a livello di frase o di token, fallendo nel gestire la affidabilità più fine delle singole predizioni delle entità.
• Limitazione del Segnale: La calibrazione esistente a livello di entità (es. Jagannatha e Yu, 2020) si basa esclusivamente sugli score di probabilità interni del modello, ignorando informazioni multi-fonte come gli stati di rappresentazione, la semantica del tipo e il contesto strutturale.
• Tensione tra Calibrazione e Rilevamento: I metodi di calibrazione tradizionali possono migliorare l'Expected Calibration Error (ECE) ma possono involontariamente ridurre la separabilità tra predizioni corrette e errate, ostacolando così le capacità di rilevamento dell'errore e di predizione selettiva.

Il documento affronta la necessità di un framework che restituisca una probabilità di correttezza calibrata per ogni entità predetta senza modificare il backbone NER sottostante, abilitando task a valle come il rilevamento degli errori, il ranking del rischio e il rifiuto della predizione.

2. Metodologia

L'approccio proposto è un framework di calibrazione post-hoc della affidabilità. Tratta il modello NER di backbone come una scatola nera congelata, convertendo le sue predizioni a livello di frase in campioni indipendenti a livello di entità per addestrare un calibratore leggero.

2.1 Costruzione dei Campioni a Livello di Entità

Il modello di backbone genera un insieme di entità predette $\hat{E}$. Ogni entità viene convertita in un campione con un'etichetta di supervisione binaria ($y=1$ per corrispondenza esatta rigorosa con le entità gold, $y=0$ altrimenti). Ciò disaccoppia la modellazione della affidabilità dall'obiettivo originale del NER.

2.2 Sistema di Caratteristiche Multi-Fonte a Cinque Dimensioni

L'innovazione principale è l'estrazione di un vettore di caratteristiche $\phi_i$ per ogni entità predetta, composto da cinque dimensioni complementari:

1. Caratteristiche di Incertezza: Derivate dalla distribuzione di probabilità della classe $p(c|\hat{e}, x)$.
   • Massima Probabilità di Classe ($s_{max}$): Segnale diretto di confidenza.
   • Entropia Predittiva ($H$): Misura la dispersione della distribuzione.
   • Margine ($M$): Differenza tra le prime due probabilità di classe, catturando la competizione inter-classe.
2. Caratteristiche di Rappresentazione: Cattura gli stati semantici e di confine interni.
   • Rappresentazione dello Span ($h_{span}$): Media dei vettori (mean-pooling) degli stati nascosti dello span dell'entità.
   • Rappresentazioni di Confine ($h_{start}, h_{end}$): Stati nascosti ai token di inizio e fine, cruciali per rilevare spostamenti di confine e troncamenti.
3. Caratteristiche Semantiche del Tipo: Affronta la coerenza tra lo span dell'entità predetta e la sua categoria.
   • Invece di una similitudine del coseno esplicita tra spazi (che introduce bias metrici), il metodo utilizza il vettore semantico ($z_{c_{pred}}$) del tipo predetto (codificato tramite un encoder pre-addestrato) concatenato direttamente con altre caratteristiche.
4. Caratteristiche Strutturali: Cues strutturali espliciti che riflettono la difficoltà intrinseca dell'entità.
   • Include la lunghezza dell'entità, la lunghezza della frase, la posizione relativa e indicatori binari per span annidati o discontinui.
   • Include un indice di bucket della lunghezza dello span per discretizzare la complessità.
5. Caratteristiche di Vicinato: Sfrutta la struttura locale dello spazio di rappresentazione di addestramento.
   • Utilizzando un indice FAISS sulle rappresentazioni degli span di addestramento, il metodo recupera i $k$ vicini più prossimi.
   • Le caratteristiche includono: distanza media ($\bar{d}_k$), distanza minima ($d_{min}$), proporzione di vicini corretti ($\rho_{corr}$), densità locale ($dens$) ed entropia del label all'interno del vicinato ($H_{knn}$).

2.3 Calibratore Leggero

Un Multi-Layer Perceptron (MLP) con due strati nascosti mappa il vettore di caratteristiche concatenato a una probabilità di correttezza scalare $r(\hat{e}) \in (0, 1)$.

• Addestramento: Il calibratore è addestrato esclusivamente su campioni a livello di entità dal set di validazione utilizzando la perdita di cross-entropy binaria con pesatura delle classi.
• Inferenza: I parametri del modello di backbone e i risultati della decodifica rimangono congelati; il calibratore agisce come un modulo di post-processing non invasivo.

3. Contributi Chiave

1. Design del Framework: Propone un framework di calibrazione post-hoc a livello di entità che restituisce probabilità di correttezza calibrate adatte per task di affidabilità a valle (rilevamento errori, ranking del rischio, rifiuto) senza alterare l'architettura del backbone.
2. Ingegneria delle Caratteristiche: Progetta un sistema di caratteristiche multi-fonte a cinque dimensioni (incertezza, rappresentazione, semantica del tipo, struttura, vicinato) e valida i contributi indipendenti e complementari di ciascuna dimensione attraverso studi di ablazione.
3. Valutazione Orientata alla Deployment: Costruisce una valutazione completa coprendo scenari in-distribution (ID) e di shift di distribuzione (OOD, OOV, Typos), utilizzando tre metriche principali:
   • AUPRC: Capacità di rilevamento dell'errore (classificazione delle entità corrette sopra quelle errate).
   • AURC: Qualità della predizione selettiva (trade-off rischio-copertura).
   • ECE: Qualità della calibrazione della probabilità (allineamento degli score predetti con l'accuratezza empirica).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CoNLL-2003, GENIA e OntoNotes 4.0.

4.1 Performance In-Distribution

• Rilevamento dell'Errore: L'AUPRC è migliorato significativamente in tutti i dataset. Su CoNLL-2003, l'AUPRC è salito da 0.9490 a 0.9929.
• Predizione Selettiva: L'AURC (Rischio-Copertura) è diminuito sostanzialmente, indicando un rischio inferiore a parità di copertura. Su CoNLL-2003, l'AURC è sceso da 0.0514 a 0.0095 (una riduzione dell'81.5%).
• Calibrazione: L'ECE è migliorato, con CoNLL-2003 che scende da 0.0648 a 0.0156.

4.2 Performance sotto Shift di Distribuzione

Il metodo ha dimostrato robustezza sotto shift di distribuzione:

• OOD (Trasferimento di Dominio): Ha mostrato il miglioramento più pronunciato, con l'AUPRC che aumenta da 0.8291 a 0.9409. Le caratteristiche di vicinato sono state particolarmente efficaci qui, fornendo segnali di riferimento per le entità fuori dominio.
• OOV e Typos: Sono stati osservati miglioramenti costanti, sebbene i guadagni siano leggermente più modesti negli scenari OOV a causa dell'assenza di vicini prossimi per i token non visti.

4.3 Confronto e Ablazione

• Baseline: Il metodo proposto supera significativamente Platt Scaling e Temperature Scaling in termini di AUPRC e AURC, sebbene le baseline mostrino una ECE leggermente migliore in alcuni casi (poiché si concentrano esclusivamente sull'allineamento della probabilità).
• Ablazione: Rimuovere qualsiasi dimensione di caratteristica degrada generalmente le prestazioni, sebbene metriche specifiche mostrino trade-off sfumati. Le caratteristiche di rappresentazione forniscono il salto maggiore in AUPRC (da 0.9502 a 0.9890). Sebbene la configurazione "Full" (con caratteristiche di vicinato) abbia raggiunto la ECE più bassa (0.0100), la configurazione "Full (w/o Neigh)" ha ottenuto un AUPRC leggermente superiore (0.9922 vs 0.9921) e un AURC inferiore (0.0102 vs 0.0103). Ciò indica che, mentre le caratteristiche di vicinato migliorano significativamente la qualità della calibrazione della probabilità, il loro impatto marginale sul ranking del rilevamento dell'errore in scenari in-distribution è limitato, pur rimanendo critiche per minimizzare l'ECE.

5. Significato e Rivendicazioni

Il documento afferma che la sua importanza primaria risiede nello spostamento del paradigma di affidabilità del NER da "predire la correttezza" a "stimare l'affidabilità".

• Controllo del Rischio: Gli score calibrati identificano efficacementamente le predizioni ad alto rischio. Ad esempio, su CoNLL-2003, rifiutando solo il 2.9% delle predizioni (quelle con bassi score calibrati), l'accuratezza del set rimanente è salita al 94.76%, mentre il set rifiutato conteneva l'82.93% degli errori.
• Fattibilità Ingegneristica: A differenza dei metodi che richiedono il retraining del backbone o ridisegni complessi del decoding, questo approccio è plug-and-play. Richiede solo un MLP leggero addestrato sui dati di validazione, rendendolo altamente fattibile per il deployment reale.
• Affidabilità Completa: Il metodo risolve la tensione tra calibrazione e rilevamento dell'errore, migliorando simultaneamente l'allineamento della probabilità (ECE) e la capacità di filtrare gli errori (AUPRC/AURC).

Gli autori concludono che questo framework fornisce un meccanismo robusto e non invasivo per potenziare l'applicabilità pratica dei sistemi NER in ambienti open-world dove sono prevalenti shift di distribuzione e rumore. Si suggerisce come lavoro futuro l'estensione a compiti di predizione strutturata (relation/event extraction) e paradigmi di NER generativi.