Do LLM Embedding Spaces Recover Expert Structure?

Sintesi Tecnica: Gli spazi di embedding degli LLM recuperano la struttura esperta?

Problema
Gli embedding testuali pre-addestrati sono sempre più utilizzati come mappe rappresentazionali in cui le distanze geometriche tra i testi vengono confrontate con strutture concettuali specificate indipendentemente. Tuttavia, un'elevata separabilità delle categorie (ad esempio, la capacità di classificare le comunità) non implica necessariamente che la geometria dell'embedding recuperi relazioni semantiche fini e definite da esperti. Questo problema è acuto nel linguaggio relativo alla salute mentale, dove le categorie presentano sovrapposizioni di sintomi e confini sfumati, fornendo un riferimento esterno esperto. Tuttavia, le comunità online introducono forti fattori di confondimento non clinici, tra cui il gergo specifico dei subreddit, le norme stilistiche e le ampie divisioni di dominio (salute mentale vs controllo). Un modello può raggruppare con successo le comunità basandosi su questi segnali distribuzionali grossolani senza codificare le relazioni sottostanti a livello di sintomo che definiscono la struttura esperta. Il documento indaga se gli spazi di embedding degli LLM recuperino la struttura dei sintomi definita da esperti oltre la separazione grossolana del dominio e come la supervisione specifica per il compito e la scala del modello influenzino tale geometria.

Metodologia
Lo studio utilizza un dataset di 28 comunità Reddit (17 specifiche per la salute mentale, 11 di controllo) che spaziano dal 2018 al 2020. Gli autori confrontano gli spazi di embedding pre-addestrati e quelli sottoposti a fine-tuning supervisionato utilizzando due scale di modelli: Qwen3-Embedding-0.6B e Qwen3-Embedding-4B.

Il framework di valutazione impiega tre analisi complementari:

1. Analisi della Similarità Rappresentazionale (RSA): Gli autori costruiscono prototipi di categoria mediando gli embedding dei documenti. Generano una Matrice di Dissimilarità Rappresentazionale (RDM) basata sulle distanze del coseno tra questi prototipi. Questa RDM derivata dal modello viene confrontata con due matrici di riferimento: una matrice dei sintomi derivata da esperti (basata sulle distanze di Jaccard di profili di sintomi binari) e una matrice dominio-controllo. L'RSA è calcolata come correlazione di rango di Spearman tra le voci della parte superiore triangolare di queste matrici.
2. Tipicità basata su Prototipi e Analisi dei Confini: Per esaminare la struttura locale, gli autori calcolano la tipicità del documento (distanza dal prototipo della categoria) e i margini dei prototipi. Definiscono un "punteggio di allineamento del confine" ($\Delta_{align}$) per misurare se l'ambiguità residua del confine sia concentrata tra coppie di categorie vicine secondo l'esperto (quelle con alta sovrapposizione di sintomi) rispetto alle coppie di non-vicini.
3. Controlli Multi-Baseline per i Confondimenti: Per garantire che l'allineamento non sia guidato da segnali non clinici, gli autori controllano quattro baseline: punteggi affettivi Valenza-Arousal-Dominance (VAD), categorie linguistiche LIWC, caratteristiche di stile lessicale e strutture di distribuzione dei topic (tramite Embedded Topic Models).

Risultati Chiave

• Recupero della Struttura Esperta: Gli embedding pre-addestrati mostrano un allineamento misurabile con la struttura dei sintomi definita dagli esperti all'interno del sottoinsieme della salute mentale, anche senza supervisione. Questo allineamento è significativamente più forte di quanto ci si aspetterebbe dalla sola separazione grossolana del dominio.
• Impatto della Supervisione: Il fine-tuning supervisionato rafforza l'allineamento con la struttura esperta, con i guadagni più significativi osservati al livello di categoria più fine (all'interno del sottoinsieme della salute mentale). Il fine-tuning non aumenta semplicemente la separabilità globale; rimodella la geometria per ridurre l'ambiguità "fuori dalla struttura" e per concentrare l'incertezza residua tra le coppie di categorie vicine secondo l'esperto.
• Effetti della Scala del Modello: Scale di modelli più grandi (4B vs 0.6B) migliorano sia l'allineamento zero-shot che i guadagni indotti dalla supervisione. Il modello 4B raggiunge punteggi RSA più elevati e mostra una riduzione più pronunciata delle associazioni con le baseline non cliniche.
• Robustezza ai Confondimenti: L'osservato allineamento persiste anche dopo aver controllato VAD, LIWC, stile lessicale e distribuzioni di topic. Sebbene le baseline ricche di contenuto (come le distribuzioni di topic) spieghino una parte dell'allineamento, rimane un sostanziale allineamento residuo con la struttura esperta, suggerendo che la geometria catturi più della semplice regolarità del discorso o dell'affetto.
• Organizzazione Locale: Il fine-tuning riduce l'ambiguità diffusa dei confini. I topic associati all'offuscamento dei confini nei modelli zero-shot (narrative affettive condivise) vengono affinati nei modelli sottoposti a fine-tuning, che esibiscono campi lessicali più concentrati e specifici per categoria.

Significatività e Rivendicazioni
Il documento sostiene che gli embedding degli LLM possono recuperare la geometria delle categorie rilevante per l'esperto, ma tale recupero è parziale, dipendente dal livello e modellato dalla supervisione e dalla scala. Gli autori avvertono che le sole prestazioni di classificazione sono insufficienti per inferire la struttura semantica; sono necessari controlli espliciti per i confondimenti e analisi stratificate per livello.

I contributi chiave includono:

• Un framework a livello di rappresentazione che combina RSA, tipicità basata su prototipi e controlli multi-baseline per i confondimenti per testare il recupero della struttura esperta oltre la separazione del dominio.
• Evidenza empirica di un pattern dipendente dal livello in cui i modelli pre-addestrati codificano l'organizzazione a livello di sintomo, e la supervisione amplifica questo allineamento più efficacemente alla granularità più fine.
• Dimostrazione che le scale maggiori e la supervisione riducono congiuntamente le associazioni con le baseline non cliniche, producendo una geometria più specifica per categoria.

Limitazioni
Gli autori notano esplicitamente che il loro riferimento esperto è un benchmark strutturato per il confronto a livello di categoria, non un'ontologia diagnostica clinica capace di catturare la gravità o la comorbidità a livello individuale. I risultati supportano una rivendicazione limitata: gli embedding pre-addestrati contengono segnali organizzativi significativi ma incompleti, che la supervisione rafforza. Lo studio è limitato a una specifica famiglia di modelli e a un dataset; la generalizzabilità attraverso diverse architetture e fonti linguistiche meno specifiche per la comunità rimane una questione aperta. Inoltre, le analisi basate sui topic sono interpretative piuttosto che causali.