💬 NLP

When Annotators Disagree, Topology Explains: Mapper, a Topological Tool for Exploring Text Embedding Geometry and Ambiguity

Questo articolo dimostra che Mapper, uno strumento di analisi topologica dei dati, rivela come i modelli linguistici finemente sintonizzati ristrutturino gli spazi di embedding in regioni modulari ad alta purezza che mantengono una sicurezza strutturale anche quando gli annotatori umani non sono d'accordo, offrendo un quadro diagnostico superiore per comprendere l'ambiguità del modello rispetto ai metodi di visualizzazione tradizionali come PCA o UMAP.

Autori originali: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

Pubblicato 2026-04-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una stanza gigante e invisibile piena di migliaia di persone. Ogni persona rappresenta una frase proveniente da internet. In questa stanza, le persone che dicono cose simili stanno vicine tra loro, mentre quelle che dicono cose molto diverse stanno lontane. È così che i modelli informatici "pensano" al linguaggio: trasformano le parole in punti in uno spazio massiccio e multidimensionale.

Per anni, gli scienziati hanno cercato di capire questa stanza scattando una fotografia bidimensionale (utilizzando strumenti come UMAP o PCA). Ma il documento sostiene che queste foto sono come cercare di capire una scultura tridimensionale guardando la sua ombra. Si perde la profondità, le curve e le connessioni nascoste.

Ecco cosa ha scoperto questo documento utilizzando un nuovo strumento chiamato Mapper, che agisce come una mappa topologica tridimensionale invece di una foto piatta.

Il Problema: Quando gli Esseri Umani Non Sono D'accordo

I ricercatori hanno esaminato un dataset di tweet su argomenti sensibili (come politica o razza). Hanno chiesto a cinque diverse persone di etichettare ogni tweet come "offensivo" o "non offensivo".

I Tweet "Facili" (A++): Tutti erano d'accordo. (Ad esempio, "Ti odio" è chiaramente offensivo).
I Tweet "Difficili" (A0): Gli esseri umani non erano d'accordo. Alcuni dicevano che era offensivo, altri dicevano che non lo era. Questo è chiamato ambiguità.

Di solito, quando gli esseri umani non sono d'accordo, assumiamo che anche il modello informatico sarà confuso. Ma i ricercatori volevano vedere cosa stava effettivamente facendo il modello all'interno del suo cervello quando si trovava di fronte a questi tweet confusi.

Lo Strumento: Mapper (La Mappa "Collega-i-Punti")

Invece di schiacciare la stanza tridimensionale in una foto bidimensionale, gli autori hanno utilizzato Mapper.

L'Analogia: Immagina di cercare di mappare un complesso sistema di grotte.
- Vecchi Strumenti (UMAP/PCA): Scatti una foto dall'ingresso. Vedi una grande macchia di roccia. Non riesci a dire se ci sono tunnel separati o solo una grande grotta.
- Mapper: Progetti una luce da angolazioni diverse, tagli la grotta in strati sovrapposti e poi colleghi i punti dove gli strati si sovrappongono. Finisci con un grafo (una rete di nodi e linee) che ti mostra esattamente come i tunnel si collegano, dove si diramano e dove finiscono in vicoli ciechi.

La Grande Scoperta: Il Modello "Impone" l'Ordine

I ricercatori hanno scoperto qualcosa di sorprendente su come il modello gestisce i tweet "difficili" su cui gli esseri umani non erano d'accordo.

Prima dell'Addestramento (La Stanza Disordinata): Quando il modello ha ricevuto i dati per la prima volta, le persone "offensive" e "non offensive" erano sparse ovunque. La mappa sembrava una nuvola disordinata.
Dopo l'Addestramento (La Stanza Organizzata): Una volta che il modello ha appreso il compito, non ha semplicemente creato due mucchi ordinati (uno per offensivo, uno per non offensivo). Invece, ha costruito quartieri modulari.
- Anche per i tweet confusi su cui gli esseri umani non erano d'accordo, il modello li ha raggruppati in regioni specifiche e distinte.
- Lo Shock: All'interno di queste regioni, il modello era estremamente sicuro. Guardava un gruppo di tweet confusi e diceva: "Tutto questo quartiere è 'Offensivo'!" con una certezza del 98%.

La Metafora:
Immagina un gruppo di turisti che discutono se un dipinto sia "arte" o "spazzatura".

Gli Esseri Umani: Sono divisi 50/50.
Il Modello: Entra, guarda l'intero gruppo e dichiara con sicurezza: "Tutto questo gruppo è Arte!" Non esita. Ha creato una "zona" per questo gruppo e gli ha assegnato un'unica etichetta, ignorando il fatto che gli esseri umani all'interno della zona stanno ancora discutendo.

Cosa Significa

Il documento afferma che il modello non si limita a "indovinare" quando è confuso. Invece, riorganizza lo spazio per creare il proprio tipo di senso.

Crea regioni lisce e coerenti dove si sente sicuro nel prendere una decisione.
Ignora il "rumore" del disaccordo umano e impone la propria struttura.
Questo spiega perché i modelli possono essere eccessivamente sicuri: non stanno guardando la confusione individuale degli esseri umani; stanno guardando il "quartiere" in cui i dati sono stati ordinati, e quel quartiere ha un'etichetta chiara.

Perché Mapper è Meglio

Gli autori mostrano che se usi i vecchi strumenti "fotografici" (UMAP), potresti pensare che i tweet offensivi siano tutti in un unico grande cerchio ordinato. Ma Mapper rivela che in realtà si trovano su molte isole diverse e disconnesse collegate solo da ponti sottili.

Vecchia Visione: "Tutto è separato in modo ordinato."
Visione di Mapper: "È una complessa rete di isole. Il modello è sicuro su ogni isola, ma le isole sono disperse in un modo che una semplice foto nasconde."

Riassunto

Il documento sostiene che quando gli esseri umani non sono d'accordo su un'etichetta, il modello informatico non si confonde e non vacilla. Invece, costruisce una nuova mappa in cui raggruppa quegli esempi confusi in zone specifiche e assegna loro con sicurezza un'unica etichetta. Questa visione "topologica" (guardando la forma e le connessioni) rivela che il modello è in realtà molto strutturato, anche quando i dati sono disordinati. Non è che il modello non riesca a capire l'ambiguità; è che ha trovato un modo per risolverla creando la propria realtà coerente, anche se a volte eccessivamente sicura.

1. Enunciato del Problema

I modelli di Elaborazione del Linguaggio Naturale (NLP) sono tipicamente valutati utilizzando metriche scalari (ad esempio, accuratezza, F1-score) che non riescono a catturare come i modelli rappresentino internamente l'ambiguità, in particolare in scenari in cui gli annotatori umani non sono d'accordo.

Il Divario: Sebbene lavori precedenti abbiano modellato l'ambiguità tramite etichette soft o stime di confidenza a livello di output, vi è una comprensione limitata di come le istanze ambigue siano strutturalmente codificate all'interno dello spazio di embedding ad alta dimensionalità dei modelli fine-tuned.
Limitazioni degli Strumenti Attuali: Gli strumenti standard di visualizzazione geometrica come PCA e UMAP spesso semplificano eccessivamente le strutture ad alta dimensionalità. Si basano su assunzioni di distanza euclidea, che possono appiattire relazioni complesse, non convesse e gerarchiche (comuni negli spazi di embedding iperbolici), portando a interpretazioni errate dei confini decisionali e delle strutture di vicinato.

2. Metodologia

Gli autori propongono l'uso di Mapper, uno strumento derivato dall'Analisi Topologica dei Dati (TDA), per analizzare la geometria degli embedding testuali. A differenza delle tecniche di riduzione della dimensionalità che proiettano i dati in una dimensione inferiore, Mapper costruisce un riepilogo basato su grafi che preserva la connettività e la struttura locale.

Dataset e Modelli

Dataset: MD-Offense, un dataset di 10.753 tweet in inglese annotati da cinque annotatori umani.
- Proxy dell'Ambiguità: Le istanze sono categorizzate per livelli di accordo: A++ (accordo 5/5, non ambiguo), A+ (4/5) e A0 (3/5, alta ambiguità/disaccordo).
Modello: RoBERTa-Large (selezionato per le sue prestazioni elevate attraverso i livelli di ambiguità). Sono state analizzate sia le versioni pre-addestrate che quelle fine-tuned.
Embedding: Estratti dal token [CLS] finale dell'ultimo strato nascosto.

Implementazione dell'Algoritmo Mapper

Gli autori hanno implementato Mapper utilizzando la libreria KeplerMapper con la seguente configurazione:

Filtraggio (Funzione Lente): Gli embedding ad alta dimensionalità ( $d=1024$ $d = 1024$ ) sono stati proiettati in intervalli 1D ( $k=1$ $k = 1$ ) utilizzando sei diverse funzioni lente per catturare diverse proprietà geometriche:
- Proiezione del Centroide: Allineamento con il confine decisionale.
- PCA: Varianza globale.
- Eccentricità: Distanza dai dati di addestramento (rilevamento degli outlier).
- Norma L2: Magnitudine dell'attivazione.
- Proiezioni Casuali: Baseline.
Copertura: Lo spazio proiettato è stato coperto da ipercubi sovrapposti (intervalli) con una risoluzione di $r=40$ e una sovrapposizione di $\epsilon=0.3$ .
Clustering: All'interno di ciascun intervallo, i punti dati sono stati clusterizzati utilizzando HDBSCAN (Hierarchical Density-Based Spatial Clustering) per evitare di imporre un numero fisso di cluster e gestire densità variabili.
Costruzione del Grafo: I nodi rappresentano i cluster; gli archi collegano i nodi se condividono punti dati (a causa della copertura sovrapposta).

Metriche Topologiche

Per quantificare i risultati, gli autori hanno definito tre metriche:

Purezza del Componente (CP): La purezza media dei nodi all'interno di un componente connesso (misura l'omogeneità della classe).
Accordo degli Archi (EA): La proporzione di archi che collegano nodi con la stessa etichetta di classe maggioritaria (misura la coerenza globale).
Corrispondenza della Maggioranza (MM): L'allineamento tra l'etichetta maggioritaria prevista dal modello e l'etichetta maggioritaria di verità fondamentale a livello di componente.

3. Contributi Chiave

Prospettiva Topologica sull'Ambiguità: Il paper introduce Mapper come strumento diagnostico per visualizzare come i modelli fine-tuned ristrutturino gli spazi di embedding, rivelando che i modelli non collassano semplicemente le classi in cluster lineari, ma le organizzano in regioni modulari e non convesse.
Scoperta della "Confidenza Strutturale": Lo studio rivela una tensione nascosta: anche in dati altamente ambigui (A0) dove gli annotatori umani non sono d'accordo, il modello organizza queste istanze in regioni topologiche altamente coerenti e pure nelle previsioni. Il modello manifesta una "eccessiva confidenza" assegnando un'unica etichetta a intere componenti topologiche, indipendentemente dal rumore di etichetta sottostante.
Superiorità rispetto agli Strumenti Geometrici: Gli autori dimostrano che Mapper rivela dettagli strutturali (regioni frammentate, collassi dei confini e classi intrecciate) che UMAP e PCA appiattiscono o oscurano.

4. Risultati Chiave

Il Fine-Tuning Ristruttura la Topologia: Il fine-tuning trasforma lo spazio di embedding da uno stato frammentato (nel modello base) a una topologia strutturata e modulare.
- Aumento della Purezza: Dopo il fine-tuning, >98% dei componenti connessi mostrano una purezza di previsione $\ge90\%$ , anche nel sottoinsieme ambiguo A0.
- Coerenza degli Archi: L'Accordo degli Archi (EA) aumenta significativamente dopo il fine-tuning, indicando transizioni più fluide tra i cluster vicini.
Il Fenomeno della "Eccessiva Confidenza":
- Nel sottoinsieme A0 (alto disaccordo umano), le etichette di verità fondamentale all'interno dei componenti sono rumorose (CP ~31,5%).
- Tuttavia, le previsioni del modello all'interno degli stessi componenti sono quasi perfettamente pure (CP ~98,0%).
- Ciò indica che il modello risolve l'ambiguità imponendo una struttura topologica grezza, raggruppando le istanze ambigue in regioni allineate con il suo obiettivo di addestramento binario, ignorando efficacemente le sfumature del disaccordo umano.
Robustezza: Questi risultati valgono per diverse funzioni lente (1D e 2D) e diverse architetture di modelli (BERT, DeBERTa, DistilBERT, ecc.), suggerendo che si tratti di un comportamento fondamentale dei transformer fine-tuned.

5. Significato e Implicazioni

Strumento Diagnostico: Mapper fornisce un metodo potente per comprendere come i modelli risolvono l'ambiguità, andando oltre le metriche scalari per rivelare la geometria interna delle regioni decisionali.
Sfida alle Assunzioni: I risultati mettono in discussione l'assunzione secondo cui i modelli falliscono sui dati ambigui indovinando a caso. Al contrario, i modelli mostrano un comportamento sistematico a livello di regione, generalizzando scolpendo sottostrutture complesse che potrebbero non allinearsi con il consenso umano.
Direzioni Future: Gli autori suggeriscono che queste intuizioni topologiche possono informare strategie di modellazione proattive, come:
- La selezione di sottoinsiemi per l'addestramento basata sulla purezza topologica.
- La progettazione di regimi di fine-tuning che tengano conto dell'incertezza topologica.
- Lo sviluppo di valutazioni della robustezza specificamente per le regioni ambigue.
Riproducibilità: Tutto il codice e le configurazioni sono open-source, facilitando ulteriori ricerche nell'analisi topologica NLP.

In conclusione, il paper sostiene che la topologia spiega la geometria dell'ambiguità: i modelli fine-tuned non imparano semplicemente a classificare; riorganizzano lo spazio di embedding in regioni modulari ad alta confidenza che spesso sovrascrivono l'incertezza presente nelle annotazioni umane.