Rhetorical Questions in LLM Representations: A Linear Probing Study

1. Problema e Contesto

Le domande retoriche sono un elemento fondamentale della comunicazione umana, utilizzate non per cercare informazioni, ma per persuadere, sfidare o segnalare una posizione (stance). A differenza delle domande informative, il loro significato è non letterale e dipende fortemente dal contesto, dall'intento del parlante e dalla struttura del discorso.
Sebbene le domande retoriche siano state studiate in linguistica e NLP come compiti di classificazione, rimane poco chiaro come i Large Language Models (LLM) rappresentino internamente queste strutture. La domanda di ricerca centrale è: le domande retoriche sono codificate in uno spazio rappresentazionale univoco e condiviso all'interno dei modelli, o emergono attraverso meccanismi più complessi e dipendenti dal contesto?

2. Metodologia

Gli autori adottano un approccio basato sull'interpretabilità tramite sonde lineari (linear probes) per analizzare lo spazio rappresentazionale interno dei modelli.

• Dataset: Lo studio utilizza due dataset reali provenienti dai social media, con contesti e protocolli di annotazione diversi:
  • RQ (Zhuang & Riloff, 2020): Domande da Twitter con contesto (tweet precedente).
  • SRAQ (Ikumariegbe et al., 2025): Domande da thread di Reddit, analizzate a livello di paragrafo o turno completo.
• Modelli: Analisi condotta su modelli decoder-only (Qwen3-32B, Llama-3.3-70B) e un confronto con un modello encoder-based (ModernBERT-large).
• Rappresentazioni: Vengono estratte le rappresentazioni nascoste (hidden states) a diversi livelli del modello. Si confrontano principalmente:
  • Rappresentazione dell'ultimo token (last-token).
  • Media pooling su tutti i token (mean-pooled).
  • Le rappresentazioni vengono proiettate in uno spazio a bassa dimensionalità (PCA con $k=64$) per stabilizzare i confronti.
• Tipi di Sonde:
  1. DiffMean: Una sonda senza training che calcola la differenza tra le medie delle classi (domande retoriche vs informative).
  2. Classificatori Discriminativi: Regressione logistica e SVM lineare (hinge loss) addestrati per separare le due classi.
• Metriche di Valutazione:
  • AUROC: Per misurare la separabilità lineare.
  • Accordo di Ranking (Spearman): Per valutare se sonde diverse ordinano gli esempi in modo simile.
  • Overlap (Jaccard): Per misurare la sovrapposizione tra gli esempi classificati come più o meno retorici da sonde diverse.
  • Trasferibilità Cross-Dataset: Addestramento su un dataset e test sull'altro.
  • Analisi Qualitativa: Ispezione manuale degli esempi con punteggi più alti per comprendere le differenze semantiche.
  • Steering Causale: Interventi diretti sulle rappresentazioni per verificare se spostare lungo la direzione appresa induce un comportamento retorico.

3. Risultati Chiave

A. Rilevamento e Stabilità delle Rappresentazioni

• Emergenza Precoce: I segnali retorici emergono già nei primi livelli del modello.
• Last-Token vs Mean-Pooling: Le rappresentazioni dell'ultimo token catturano i segnali retorici in modo più stabile e performante rispetto al mean-pooling, specialmente nei livelli più profondi. Il mean-pooling tende a diluire i segnali retorici, specialmente in contesti ricchi di informazioni (come SRAQ).
• Separabilità Lineare: Le domande retoriche sono linearmente separabili dalle domande informative all'interno di un singolo dataset, con valori AUROC che raggiungono spesso 0.85-0.9 per i classificatori addestrati.

B. Divergenza tra Performance Discriminativa e Allineamento Rappresentazionale

Questo è il risultato più significativo e controintuitivo:

• Alta Performance, Basso Allineamento: Sebbene diverse sonde (addestrate su dataset diversi o con diversi obiettivi) ottengano una buona capacità discriminativa (AUROC simile), non allineano le loro direzioni.
• Ranking Disomogenei: Quando si applicano sonde addestrate su dataset diversi allo stesso corpus, i ranking degli esempi risultano molto diversi. L'overlap tra i top-20% degli esempi classificati come "più retorici" è spesso inferiore a 0.2.
• Implicazione: Una buona accuratezza di trasferimento non implica l'esistenza di una singola direzione rappresentazionale condivisa.

C. Eterogeneità delle Domande Retoriche

L'analisi qualitativa rivela che le divergenze nei ranking corrispondono a fenomeni retorici distinti:

• Sonde basate su SRAQ: Tendono a catturare atteggiamenti retorici a livello di discorso, dove la domanda funge da impalcatura strutturale per argomentazioni estese e complesse.
• Sonde basate su RQ: Tendono a catturare atti interrogativi localizzati e guidati dalla sintassi, dove la forza retorica è contenuta in frasi brevi o giochi di parole, indipendentemente dal contesto discorsivo ampio.
• Conclusione: Le domande retoriche non sono organizzate lungo un unico asse lineare, ma sono codificate da multiple direzioni lineari che enfatizzano caratteristiche linguistiche diverse a seconda del contesto e dei dati.

D. Trasferibilità e Steering

• Trasferibilità Parziale: Le direzioni apprese su un dataset mantengono una certa capacità discriminativa su un altro (AUROC ~0.7-0.8), ma con un allineamento geometrico molto basso (cosine similarity ~0.2-0.4).
• Steering: Gli esperimenti di causal steering confermano che spostare le rappresentazioni lungo le direzioni identificate induce cambiamenti coerenti nel comportamento del modello verso la generazione di domande retoriche, dimostrando che queste direzioni catturano effettivamente l'intento retorico.

4. Contributi Principali

1. Analisi Sistematica: Prima indagine data-driven su come le domande retoriche sono codificate negli spazi rappresentazionali interni degli LLM in contesti reali.
2. Scoperta della Divergenza: Dimostrazione che l'alta performance discriminativa e la trasferibilità cross-dataset non implicano un allineamento rappresentazionale. Sonde diverse recuperano direzioni non collineari che catturano aspetti diversi dello stesso fenomeno.
3. Natura Eterogenea: Evidenza che il significato retorico non è univoco, ma comprende un ventaglio di funzioni che vanno dall'atteggiamento discorsivo globale agli atti interrogativi locali.
4. Best Practice: Conferma che le rappresentazioni dell'ultimo token sono più stabili ed efficaci per l'analisi di intenti complessi rispetto al pooling medio.

5. Significato e Implicazioni

Questo studio mette in guardia contro l'interpretazione semplicistica dei risultati delle sonde lineari. Il fatto che un modello possa distinguere accuratamente due categorie non significa che le abbia apprese come un singolo concetto unitario.

• Per l'Interpretabilità: Suggerisce che concetti complessi e sfumati (come la retorica) potrebbero essere distribuiti su un "sottospazio" di molte direzioni, non su un singolo vettore.
• Per l'Addestramento e il Controllo: Comprendere che esistono multiple direzioni per la retorica è cruciale per il steering controllato dei modelli. Tentare di controllare un comportamento retorico potrebbe richiedere di agire su diverse direzioni a seconda del tipo di retorica desiderata (es. argomentativa vs. sarcastica).
• Per la Valutazione: Mette in discussione l'uso di metriche puramente discriminative (come l'accuratezza) come prova di comprensione concettuale profonda, suggerendo di integrare analisi geometriche e di allineamento.

In sintesi, il paper dimostra che le LLM codificano le domande retoriche in modo contesto-sensibile ed eterogeneo, sfidando l'ipotesi di una rappresentazione lineare singola e universale per questo fenomeno linguistico.