Rhetorical Questions in LLM Representations: A Linear Probing Study

1. Problema e Motivação

As perguntas retóricas são uma forma comum de linguagem onde o falante não busca informação, mas sim persuadir, desafiar ou sinalizar uma posição (ex: "Você realmente acredita nisso?"). Embora a detecção computacional de perguntas retóricas seja um problema estudado há anos, como os Grandes Modelos de Linguagem (LLMs) representam internamente essa intenção retórica permanece obscuro.

A maioria dos trabalhos anteriores trata o problema como uma tarefa de classificação ou resposta a perguntas (QA) focada na precisão preditiva. Este artigo busca ir além, investigando a base representacional dentro do modelo: como a intenção retórica é codificada, organizada e transferida no espaço de representações internas dos LLMs.

2. Metodologia

Os autores adotaram uma abordagem baseada em sondagem linear (linear probing) para analisar as representações internas de modelos de linguagem.

• Datasets: A análise foi conduzida em dois conjuntos de dados reais de mídia social com contextos discursivos diferentes:
  • RQ (Zhuang & Riloff, 2020): Tweets com contexto anterior (Twitter).
  • SRAQ (Ikumariegbe et al., 2025): Threads de conversação do Reddit, com granularidade de parágrafo ou turno completo.
• Modelos: Foram testados modelos decoder-only (Qwen3-32B, Llama-3.3-70B) e, para comparação, um modelo encoder-based (ModernBERT-large).
• Representações: O estudo comparou diferentes estratégias de agregação de tokens:
  • Representação do último token ($h_T$).
  • Média pooling sobre todos os tokens ($\bar{h}$).
  • Redução de dimensionalidade via PCA (64 componentes) para estabilizar as comparações.
• Probes (Sondas): Três tipos de sondas lineares foram aplicados:
  1. diffMean: Uma direção populacional sem treinamento, calculada pela diferença entre as médias das classes (retórica vs. informativa).
  2. Regressão Logística: Classificador treinado com perda de entropia cruzada.
  3. SVM Linear (Hinge Loss): Classificador treinado com perda de margem.
• Métricas de Avaliação:
  • AUROC: Para medir a separabilidade discriminativa.
  • Acordo de Ranking (Spearman): Para verificar se sondas diferentes ordenam os exemplos da mesma forma.
  • Sobreposição (Jaccard): Para medir a concordância nos exemplos classificados no topo e na base da lista.
  • Transferência Cross-Dataset: Aplicar sondas treinadas em um dataset (ex: RQ) em outro (ex: SRAQ) para testar a generalização.
• Análise Qualitativa e Causal: Exemplos qualitativos das classificações e experimentos de steering (controle causal) para validar se as direções identificadas realmente alteram o comportamento do modelo.

3. Principais Contribuições e Resultados

A. Emergência e Estabilidade das Sinais Retóricos

• Os sinais retóricos emergem cedo nas camadas do modelo.
• As representações do último token capturam o sinal retórico de forma mais estável e com maior AUROC (atingindo ~0.8-0.9) do que a média pooling, especialmente em camadas mais profundas. A média pooling tende a diluir o sinal em contextos mais longos e ricos (como no dataset SRAQ).

B. Separabilidade Linear vs. Alinhamento Representacional

• Separabilidade: Perguntas retóricas são linearmente separáveis de perguntas informativas dentro de um mesmo dataset, com AUROC consistentemente alto.
• Divergência de Ranking: Embora diferentes sondas (diffMean, logística, SVM) alcancem desempenho discriminativo similar (AUROC), elas induzem rankings drasticamente diferentes.
  • A sobreposição (Jaccard) entre os exemplos classificados no topo por sondas diferentes é frequentemente abaixo de 0.2.
  • Isso indica que alta precisão de classificação não implica que todas as sondas estejam capturando a mesma direção representacional.

C. Transferibilidade e Heterogeneidade

• Transferência Cross-Dataset: As sondas treinadas em um dataset mantêm alguma capacidade de separação (AUROC ~0.7-0.8) em outro dataset, sugerindo um componente linear compartilhado.
• Falta de Alinhamento Direcional: No entanto, as direções de sondagem aprendidas em datasets diferentes não são colineares (baixa similaridade de cosseno, ~0.2-0.4).
• Conclusão Fundamental: A transferência de desempenho não implica uma representação única e compartilhada. Em vez disso, a intenção retórica é codificada por múltiplas direções lineares não alinhadas, que enfatizam diferentes pistas dependendo do contexto e dos dados.

D. Análise Qualitativa

A análise dos exemplos classificados no topo revela que as sondas capturam fenômenos retóricos distintos:

• Sondas baseadas em SRAQ: Tendem a capturar posturas retóricas em nível de discurso, onde a pergunta serve como andaime para argumentos extensos e estruturados.
• Sondas baseadas em RQ: Tendem a capturar atos interrogativos localizados e guiados pela sintaxe, focando em formas interrogativas curtas ou pontuais, às vezes ignorando o contexto discursivo mais amplo.

E. Validação Causal (Steering)

Experimentos de steering (adicionar vetores de direção à ativação residual) confirmaram que as direções identificadas são causais: ao empurrar a representação na direção aprendida, o modelo gera perguntas com pontuações retóricas significativamente mais altas, validando que essas direções codificam a intenção retórica.

4. Significado e Implicações

Este trabalho desafia a visão simplista de que propriedades linguísticas complexas em LLMs são codificadas em um único eixo linear universal.

1. Heterogeneidade da Retórica: A intenção retórica não é um conceito monolítico no espaço de representações, mas sim um conjunto heterogêneo de propriedades que variam entre postura discursiva global e atos sintáticos locais.
2. Limitações da Probing: O sucesso de uma sonda linear (alta precisão ou transferência) não é prova suficiente de que uma propriedade é capturada por uma única direção representacional compartilhada. Diferentes direções podem ser igualmente eficazes para discriminar, mas capturar aspectos diferentes do fenômeno.
3. Direções Futuras: O estudo sugere que a interpretabilidade de LLMs deve considerar a existência de múltiplos subsistemas ou direções para um mesmo conceito linguístico, e que a "controllabilidade" (steering) pode depender de qual direção específica está sendo manipulada.

Em resumo, o artigo demonstra que, embora os LLMs codifiquem perguntas retóricas de forma linearmente separável, essa codificação é contexto-dependente e multifacetada, exigindo uma análise mais nuanceada do que a simples detecção binária.