Sintesi Tecnica: La Topologia delle Domande Mal Poste

Definizione del Problema

I Large Language Models (LLM) incontrano frequentemente domande mal poste (ill-posed questions) — quesiti che sono ambigui, sotto-specificati, contraddittori o privi del contesto necessario. A differenza dei problemi ben posti, queste query possono ammettere nessuna risposta valida o molteplici interpretazioni plausibili. Gli approoli esistenti per gestire la natura "mal posta" si basano principalmente sull'analisi degli output del modello (ad esempio, il rilevamento di pattern di rifiuto) o sul focus su sottoclassi specifiche di ambiguità attraverso la riscrittura input-output. Questi metodi trattano spesso l'LLM come una scatola nera, fallendo nel catturare la rappresentazione interna unificata delle diverse fonti di malformazione. Di conseguenza, gli attuali meccanismi di steering tendono a collassare in template di rifiuto generici piuttosto che guidare il modello verso una chiarificazione consapevole della fonte o un'astensione mirata.

Metodologia

Il documento propone un framework che analizza e guida il comportamento degli LLM modellando la struttura topologica degli stati latenti interni dei token del prompt.

1. Rappresentazione a Nuvola di Token per Livello

Invece di comprimere un prompt in un singolo vettore aggregato (pooled vector), gli autori trattano gli stati latenti contestuali dei token del prompt in ogni livello del transformer $l$ come una nuvola di punti $X^{(l)}(q)$.

• Riduzione della Dimensionalità: Per gestire il rumore e il costo computazionale, gli stati dei token vengono proiettati in uno spazio a dimensionalità inferiore utilizzando l'Analisi delle Componenti Principali (PCA) adattata sul set di addestramento.
• Analisi Topologica: La geometria di queste nuvole di token viene analizzata utilizzando la omologia persistente finita a dimensione zero ($H_0$). Questo metodo traccia come i componenti inizialmente disconnessi dei token si fondano all'aumentare di una soglia di distanza (raggio di filtraggio).
• Interpretazione: Una domanda ben posta induce stati dei token che si fondono in una struttura coerente precocemente nella filtratura. Una domanda mal posta preserva gruppi separati o connesse in modo disomogeneo (rappresentanti entità, contesti o vincoli non risolti) fino a scale più grandi, risultando in pattern di fusione distinti.

2. Descrittori Topologici Compatti

Per ogni livello, il diagramma di persistenza $H_0$ finita viene riassunto in tre descrittori scalari a dimensione fissa:

1. Vita Media ($\mu$): La scala media alla quale i componenti si fondono, indicando il grado di frammentazione.
2. Entropia della Vita Normalizzata ($E$): Misura la distribuzione degli eventi di fusione (diffusi vs concentrati).
3. Concentrazione della Vita Massima ($R$): Il rapporto tra la somma delle cinque durate di vita più grandi e il totale, catturando la dominanza delle principali separazioni.

Questi descrittori vengono concatenati attraverso tutti i $L$ livelli per formare un vettore topologico $z(q) \in \mathbb{R}^{3L}$ che rappresenta la domanda.

3. Steering delle Attivazioni Condizionato dalla Topologia

Il framework utilizza questi vettori topologici per due scopi:

• Classificazione: Un classificatore supervisionato predice la malformazione binaria o sottotipi fini (ad es., polisemia, mancanza di contesto temporale) direttamente dal vettore topologico.
• Local Steering (Guida Locale): Invece di applicare una singola direzione globale di "astensione", il metodo recupera esempi positivi (chiarificazione/astensione) e negativi (risposta diretta) topologicamente simili dal set di addestramento.
  • Un vettore di steering locale $v_{local}$ viene costruito come la differenza tra le attivazioni medie di questi vicini recuperati.
  • Questo vettore viene aggiunto agli stati latenti durante le fasi di prefill e decoding, guidando il modello verso una risposta che affronti la specifica fonte di malformazione preservando al contempo il contenuto semantico originale della domanda.

Contributi Chiave

1. Rappresentazione Topologica Unificata: Introduzione di una rappresentazione a nuvola di token per livello che quantifica la connettività multiscala delle domande mal poste utilizzando l'omologia persistente $H_0$.
2. Estrazione di Feature Compatte: Dimostrazione che tre statistiche compatte (vita media, entropia, concentrazione) derivate dalle durate di $H_0$ formano una rappresentazione robusta e a bassa dimensionalità capace di supportare sia la rilevazione binaria che la classificazione fine a 9 vie della malformazione.
3. Steering Condizionato dalla Topologia: Sviluppo di un meccanismo di steering che utilizza la similarità topologica per selezionare coppie di contrasto specifiche per la query, consentendo al modello di passare da una risposta diretta a un'astensione o chiarificazione consapevole della fonte senza collassare in rifiuti generici.

Risultati Sperimentali

Il framework è stato valutato su tre LLM open-weight (Gemma-7B-it, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3) su tre benchmark: AmbigQA e SituatedQA (rilevamento binario) e CLAMBER (classificazione fine a 9 vie).

• Performance di Classificazione:

  • AmbigQA: L'accuratezza è migliorata dal 67,4% (baseline AEN) al 78,9%.
  • SituatedQA: L'accuratezza è migliorata dal 79,9% all'88,5%.
  • CLAMBER (9-way): L'accuratezza è migliorata dal 57,6% al 69,6%.
  • Le feature topologiche hanno superato costantemente le baseline basate su prompt (zero-shot, few-shot, CoT) e le baseline di probing neuronale (AEN).

• Performance di Steering:

  • Lo steering condizionato dalla topologia ha aumentato il tasso di risposta Grounded Acceptable (risposte che identificano e affrontano correttamente l'elemento mancante/ambiguo) dall'11,9% al 16,4% in media.
  • Il tasso Total Acceptable (grounded + generico) è aumentato dal 61,4% al 70,6%.
  • Fondamentalmente, il metodo ha ridotto i rifiuti "generici" a favore di risposte "grounded", indicando che lo steering ha preservato con successo le informazioni specifiche della domanda pur alterando il comportamento della risposta.

Significato e Rivendicazioni

Il documento afferma che l'omologia persistente fornisce una rappresentazione interpretabile della malformazione che cattura come la struttura di connettività interna del modello si trasforma attraverso i livelli. Il significato risiede nel dimostrare che:

1. La malformazione non è solo un fenomeno a livello di output, ma è codificata nella disposizione geometrica degli stati dei token durante la fase di prefill.
2. I descrittori topologici possono servire come chiavi di recupero efficaci per lo steering delle attivazioni locali, consentendo interventi mirati che sono sensibili al sottotipo specifico di malformazione (ad esempio, distinguere tra ambiguità lessicale e mancanza di contesto temporale).
3. Questo approccio va oltre i template di rifiuto fissi, permettendo agli LLM di produrre risposte che siano sia abstinenti (quando necessario) che informative riguardo la natura specifica dell'ambiguità della query.

Gli autori segnalano le limitazioni, tra cui l'ambito ristretto a tre modelli istruiti (instruction-tuned) e tre benchmark di QA, e suggeriscono che il lavoro futuro potrebbe esplorare l'omologia a dimensioni superiori ($H_1$) o apprendere pesi di aggregazione per livello.