Rhetorical Questions in LLM Representations: A Linear Probing Study

Resumen Técnico: Preguntas Retóricas en las Representaciones de los LLM

1. Planteamiento del Problema

Las preguntas retóricas son un fenómeno lingüístico común donde el hablante no busca información, sino persuadir, desafiar o señalar una postura (ej. "¿Crees realmente eso?" para expresar duda). Aunque la detección computacional de preguntas retóricas ha sido estudiada como tarea de clasificación, cómo los Grandes Modelos de Lenguaje (LLM) representan internamente la intención retórica sigue siendo un misterio.

La pregunta central de investigación es: ¿Existe una única dirección lineal compartida en el espacio de representaciones de los LLM que capture la "retórica", o es un fenómeno más complejo y heterogéneo?

2. Metodología

Los autores emplean un enfoque de sondeo lineal (linear probing) para analizar las representaciones internas de los modelos.

• Datos: Se utilizaron dos conjuntos de datos de redes sociales con contextos discursivos diferentes:
  • RQ (Zhuang & Riloff, 2020): Tweets con contexto previo (pregunta + tweet anterior).
  • SRAQ (Ikumariegbe et al., 2025): Hilos de Reddit, utilizando la formulación de párrafo (solo el párrafo que contiene la pregunta).
• Modelos: Se analizaron modelos decoder-only de última generación (Qwen3-32B, Llama-3.3-70B) y se compararon con modelos encoder-based (ModernBERT) en apéndices.
• Representaciones: Se extrajeron representaciones de capa oculta, enfocándose principalmente en la representación del último token ($h_T$) y comparándolas con promedios de todos los tokens (mean pooling). Se proyectaron las representaciones en un espacio PCA de 64 dimensiones para estabilizar las comparaciones.
• Métodos de Sondeo: Se aplicaron tres tipos de sondas lineales:
  1. DiffMean: Diferencia de medias poblacionales (sin entrenamiento).
  2. Regresión Logística: Clasificador entrenado con pérdida de entropía cruzada.
  3. SVM Lineal: Clasificador entrenado con pérdida hinge.
• Métricas de Evaluación:
  • AUROC: Para medir la separabilidad lineal.
  • Acuerdo de Ranking: Correlación de Spearman y solapamiento de Jaccard (en los extremos superior e inferior del ranking) para evaluar si diferentes sondas ordenan los ejemplos de manera similar.
  • Transferencia Cruzada: Entrenar sondas en un dataset y evaluarlas en el otro.
  • Análisis Cualitativo: Inspección de ejemplos clasificados como "más retóricos" por diferentes sondas.

3. Hallazgos Clave y Resultados

A. Emergencia y Estabilidad de la Señal Retórica

• Las señales retóricas emergen temprano en las capas del modelo.
• Las representaciones del último token capturan la distinción retórica de manera más estable y con mayor AUROC (alcanzando ~0.8-0.9) que las representaciones promediadas (mean pooling), especialmente en capas profundas. El mean pooling tiende a diluir la señal en contextos ricos.

B. Separabilidad Lineal vs. Alineación Representacional

• Separabilidad: Las preguntas retóricas son linealmente separables de las preguntas informativas dentro de un mismo dataset, con un rendimiento robusto (AUROC ~0.8).
• Divergencia de Direcciones: Aunque las sondas entrenadas logran alta precisión, no aprenden la misma dirección lineal.
  • Las sondas hinge y logística son casi idénticas entre sí.
  • Sin embargo, la sonda diffMean y las entrenadas muestran baja alineación (similitud coseno < 0.7 en RQ, ~0.5 en SRAQ).
  • Crucialmente: Cuando se aplican sondas entrenadas en diferentes datasets al mismo corpus objetivo, los rankings resultantes tienen un solapamiento muy bajo (< 0.2) en los ejemplos mejor clasificados. Esto indica que una alta precisión de transferencia no implica una representación compartida única.

C. Transferencia entre Datasets

• Las direcciones de sondeo aprendidas en un dataset (ej. RQ) transfieren parcialmente a otro (ej. SRAQ), manteniendo un AUROC de ~0.7-0.8.
• Sin embargo, la alineación direccional es baja (similitud coseno ~0.2-0.4) y el acuerdo en el ranking es moderado a bajo. Esto sugiere que la señal retórica no reside en un solo eje lineal compartido, sino en múltiples direcciones no colineales.

D. Análisis Cualitativo: Heterogeneidad de la Retórica
El análisis de los ejemplos mejor clasificados revela que las diferentes sondas capturan fenómenos retóricos distintos:

• Sondas basadas en SRAQ: Priorizan preguntas retóricas que actúan como andamiaje estructural en argumentos extensos (ej. una serie de preguntas que guían un debate filosófico). Capturan la postura discursiva global.
• Sondas basadas en RQ: Priorizan actos interrogativos localizados y dependientes de la sintaxis (ej. preguntas cortas, bromas o formas interrogativas superficiales), incluso si no tienen una intención retórica profunda.
• Conclusión cualitativa: La retórica en los LLM es inherentemente heterogénea, abarcando desde la postura discursiva global hasta actos interrogativos locales.

4. Contribuciones Principales

1. Análisis Sistemático: Primera evaluación exhaustiva de cómo los LLM codifican preguntas retóricas en su espacio de representaciones internas, demostrando que la señal es más estable en el último token.
2. Disociación entre Rendimiento y Alineación: Revelan que una alta precisión de clasificación (AUROC) y la capacidad de transferencia no garantizan que el modelo haya aprendido una única representación compartida. Diferentes datasets inducen direcciones de sondeo radicalmente diferentes.
3. Naturaleza Heterogénea: Demuestran que la intención retórica no se organiza a lo largo de un único eje lineal, sino que se manifiesta a través de múltiples direcciones lineales que enfatizan diferentes pistas lingüísticas (discursivas vs. sintácticas) según el contexto.

5. Significado e Implicaciones

Este trabajo desafía la noción simplista de que las propiedades lingüísticas complejas en los LLM se representan en una única dirección lineal universal.

• Para la Interpretabilidad: Sugiere que el éxito en tareas de sondeo (probing) no debe interpretarse automáticamente como la existencia de una "verdad" representacional única. La alta precisión puede ser el resultado de múltiples soluciones lineales que capturan aspectos distintos del mismo fenómeno.
• Para el Control de Modelos: Indica que intentar controlar el comportamiento retórico de un modelo mediante una sola dirección de activación podría ser insuficiente, ya que la retórica es sensible al contexto y multifacética.
• Futuro: Abre la puerta a investigar cómo definir y validar características representacionales específicas para cada dirección y cómo distinguir entre direcciones que son funcionalmente equivalentes en discriminación pero conceptualmente distintas.

En resumen, el estudio concluye que las preguntas retóricas en los LLM están codificadas de manera contexto-dependiente y heterogénea, reflejando múltiples características lingüísticas en lugar de una única dimensión unificada.