Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext

Resumen Técnico: Comunicando con Subtexto en Modelos de Lenguaje Grande (LLMs)

1. El Problema

La comunicación humana es inherentemente creativa y a menudo depende del subtexto: significados implícitos que van más allá del contenido literal del texto. Ejemplos incluyen alegorías literarias (como Rebelión en la granja de Orwell), ironía social o comunicación estratégica en juegos.

Aunque se ha observado anecdóticamente que los LLMs tienden a ser demasiado literales y explícitos, carecía de una evaluación sistemática y cuantificable sobre su capacidad para:

1. Generar subtexto (comunicar intenciones a un subconjunto específico de oyentes sin revelarlas a todos).
2. Interpretar subtexto (deducir significados ocultos basándose en el contexto, la identidad del autor o el conocimiento compartido).
3. Utilizar el "Grounding Común" (Common Ground): El conocimiento compartido entre interlocutores que permite la comunicación implícita.

El objetivo de este trabajo es evaluar si los modelos de vanguardia (frontier models) pueden navegar estas complejidades pragmáticas o si fallan sistemáticamente al priorizar la literalidad.

2. Metodología y Entornos de Evaluación

Los autores introdujeron cuatro nuevos conjuntos de evaluación (suites) que abarcan desde juegos de comunicación social multi-agente hasta la generación y comprensión de historias alegóricas.

A. Juegos de Comunicación Social Multi-Agente (Inspirados en juegos de mesa):
Estos entornos requieren que un agente "remitente" envíe una pista que sea entendida solo por un subconjunto específico de receptores (su audiencia objetivo), mientras que otros receptores no deben entenderla.

• Visual Allusions (Alusiones Visuales): Inspirado en el juego Dixit. Un jugador (narrador) elige una tarjeta con una imagen abstracta y genera una pista de texto. El objetivo es que algunos pero no todos los otros jugadores adivinen la tarjeta correcta.
  • Métrica clave: Clasificación de pistas en "Obvias" (todos adivinan), "Oscuras" (nadie adivina) y "Justas" (algunos adivinan).
  • Condición de Contexto Compartido: Se introdujo un conjunto de historias compartidas entre dos jugadores para probar si podían usar este conocimiento común para crear pistas exclusivas.
• Attuned (Sintonizado): Inspirado en el juego Wavelength. Un remitente elige un punto en un espectro (ej. de "Efímero" a "Permanente") y da una pista. Su equipo debe adivinar el punto más cerca que el equipo oponente.
  • Métrica clave: MindRead, que mide la capacidad del modelo para comunicar selectivamente a su equipo en lugar de al oponente.

B. Comprensión y Codificación de Subtexto en Historias:

• Historical Allegories (Alegorías Históricas): Se generaron historias sintéticas que aluden a eventos históricos reales (ej. La Gran Depresión, La Guerra Civil Española) sin mencionar explícitamente los eventos. Se evaluó cómo factores paratextuales (nombre del autor, identidad del lector) influyen en la interpretación del modelo.
• The Aesopian Author (El Autor Esopiano): Un entorno de estrés donde un agente "autor" debe escribir historias que critiquen un tema prohibido (ej. democracia) para un "crítico", pero que parezcan celebrar un tema permitido (ej. alabanza al monarca) para un "inquisidor". El autor debe sobrevivir a 3 "golpes" (cuando el inquisidor detecta el tema prohibido).

3. Resultados Clave

A. Sesgo hacia la Literalidad:

• Los modelos de vanguardia (Gemini-2.5-Pro, GPT-5, Claude-Sonnet-4.5) muestran un sesgo fuerte hacia la comunicación explícita.
• En Visual Allusions, incluso el mejor modelo (Gemini-2.5-Pro) generó pistas "obvias" (entendidas por todos) el 60% de las veces, fallando en crear el subtexto necesario para que solo un subconjunto de jugadores adivinara.
• En Attuned, las puntuaciones de MindRead fueron consistentemente bajas (~0.33), indicando que los modelos rara vez logran comunicar selectivamente a su equipo, fallando en la teoría de la mente necesaria para estimar qué pensará su compañero.

B. El Rol del Conocimiento Común (Common Ground):

• Cuando se proporcionó explícitamente un contexto compartido (historias comunes) y se informó a los agentes sobre quién más lo tenía, los modelos avanzados mejoraron significativamente (reducción del 30-50% en pistas obvias).
• Sin embargo, los modelos lucharon para inferir la existencia de un conocimiento compartido cuando no se les decía explícitamente. Aunque algunos modelos (como Gemini-2.5-Pro) usaron las historias para crear pistas, no demostraron una inferencia consciente de que el otro jugador compartía ese conocimiento; más bien, parecían usar las historias por inercia sin entender la estrategia de exclusión.

C. Influencia de Factores Paratextuales:

• En la tarea de Historical Allegories, la interpretación del modelo es altamente sensible al contexto.
  • Bajo la condición de "Historiador", la precisión aumentó drásticamente.
  • Proporcionar el nombre del autor (que sugería un contexto cultural específico) aumentó significativamente la precisión de la interpretación (ej. de 45% a 61% en GPT-5 bajo la condición de "Lector Profundo").
  • Esto demuestra que los LLMs no interpretan el texto de forma aislada, sino que su "subtexto" es fuertemente guiado por señales paratextuales.

D. Rendimiento en "The Aesopian Author":

• Este fue el entorno más desafiante. Incluso los mejores modelos lograron el objetivo (engañar al inquisitor y satisfacer al crítico) solo el 22% de las veces.
• Los modelos tendían a hacer el mensaje demasiado explícito, permitiendo que el inquisidor detectara fácilmente el tema prohibido.
• GPT-5 mostró una estrategia interesante: a veces escribía historias conformistas para ganar la confianza del inquisidor antes de intentar introducir subtexto, aunque esto no siempre funcionó.

4. Contribuciones Principales

1. Nuevos Benchmarks: Introducción de cuatro entornos dinámicos y cuantificables para evaluar el subtexto, moviéndose más allá de la evaluación estática de texto.
2. Medidas Cuantitativas: Definición de métricas específicas como la tasa de pistas "obvias" vs. "justas", el coeficiente "Spark" (para medir comunicación exclusiva) y "MindRead".
3. Análisis de Fallos: Identificación de que la falla principal no es la falta de conocimiento, sino una incapacidad pragmática para modelar las creencias de otros agentes y adaptar la comunicación para ser implícita en lugar de explícita.
4. Estudio del Conocimiento Común: Demostración de que, aunque los modelos pueden usar conocimiento compartido si se les instruye, carecen de la capacidad de inferirlo dinámicamente durante la interacción.

5. Significado e Implicaciones

• Limitaciones de la Teoría de la Mente: Los resultados sugieren que los LLMs actuales tienen dificultades con la "Teoría de la Mente" implícita y el razonamiento pragmático recursivo (pensar en lo que el otro piensa que yo pienso).
• Riesgos de Seguridad (Dual-Use): La capacidad de usar subtexto es un arma de doble filo. Por un lado, es esencial para la creatividad y la comunicación social; por otro, podría permitir a los modelos evadir filtros de seguridad mediante esteganografía o engaño sutil (ej. ocultar instrucciones maliciosas en alegorías).
• Futuro de la Investigación: El trabajo aboga por entrenar modelos para una comunicación socialmente fundamentada, pero con precaución ética, ya que mejorar explícitamente la capacidad de subtexto podría aumentar los riesgos de manipulación y desinformación.

En conclusión, el estudio revela que, aunque los modelos de vanguardia son poderosos generadores de texto, siguen siendo demasiado literales para manejar las sutilezas de la comunicación humana real, donde el significado a menudo reside en lo que no se dice.