Resumen Técnico: "¡No lo digas!": Restricciones, cumplimiento y comunicación cuando los modelos de lenguaje juegan al Tabú

1. Planteamiento del problema

El juego de Tabú requiere que un jugador describa una palabra objetivo sin utilizar un conjunto específico de palabras prohibidas, recurriendo a asociaciones semánticas para permitir que un adivinador identifique el objetivo. Esta tarea presenta un desafío único para los Grandes Modelos de Lenguaje (LLM) porque exige la satisfacción simultánea de dos objetivos contrapuestos:

1. Restricciones léxicas estrictas: El modelo debe suprimir palabras léxica y conceptualmente prominentes (la lista de prohibidas) y sus variantes morfológicas.
2. Efectividad comunicativa: El modelo debe generar una descripción suficientemente informativa para evocar el concepto objetivo para un humano o un adivinador automático.

Los benchmarks actuales suelen evaluar el seguimiento de instrucciones de forma aislada. Este artículo investiga si los LLM pueden navegar la compensación entre el cumplimiento de las reglas y la utilidad comunicativa en un entorno que requiere un "anclaje léxico bajo restricción". Los autores cuestionan específicamente si las descripciones generadas bajo restricción son lo suficientemente detalladas como para ser útiles y si las estrategias que adoptan los modelos se alinean con los procesos cognitivos humanos en el juego.

2. Metodología

2.1. Datos y modelos

• Conjunto de datos: El estudio utiliza 194 tarjetas de Tabú en italiano transcritas manualmente de un juego de mesa físico. Cada tarjeta contiene una palabra objetivo y cinco palabras prohibidas.
• Modelos: Se evaluaron dos modelos de pesos abiertos:
  • google/gemma-3-4b-it: Un modelo ligero ajustado para instrucciones, seleccionado por su rendimiento general y compatibilidad con Autoencoders Dispersos (SAE) preentrenados para experimentos de interpretabilidad.
  • openai/gpt-oss-20b: Un modelo de razonamiento de Mezcla de Expertos (MoE) post-entrenado con Aprendizaje por Refuerzo mediante Cadena de Pensamiento (CoT). Fue evaluado tanto con como sin razonamiento explícito para evaluar el papel de la deliberación en el cumplimiento de las restricciones.

2.2. Condiciones experimentales (Niveles de intervención)

Los autores investigaron tres niveles distintos de intervención para imponer las restricciones:

1. Prompting (Nivel de instrucción): El modelo recibe la instrucción vía el prompt del usuario de evitar la palabra objetivo y la lista de prohibidas (incluyendo derivados morfológicos). El prompt solicita explícitamente una descripción de menos de 30 palabras sin texto circundante.
2. Restricciones en el tiempo de generación (Nivel de decodificación):
   • Censura a priori de raíces: Antes de la generación, se computa un conjunto estático de tokens prohibidos basado en las raíces de las palabras prohibidas. Los logits para estos tokens se enmascaran a $-\infty$ en cada paso de decodificación.
   • Generación con restricciones en tiempo de inferencia: Un enfoque dinámico donde el modelo genera libremente hasta que se detecta una palabra completa que coincide con una raíz prohibida. La generación retrocede entonces al inicio de la palabra ofensiva, la cual se añade a una máscara persistente de nivel de posición, y la generación se reanuda con el token suprimido.
3. Manipulaciones del modelo (Nivel de representación):
   • Direccionamiento por SAE: Utilizando Autoencoders Dispersos (SAE), los autores identificaron las características en el flujo residual (Capa 29) más fuertemente asociadas con cada palabra prohibida. Durante la generación, se aplicó una intervención de escala de norma de activación para dirigir el flujo residual lejos de estas direcciones de características, suprimiendo los conceptos subyacentes sin modificar los pesos del modelo ni mencionar explícitamente las palabras prohibidas en el prompt.

2.3. Métricas de evaluación

• Cumplimiento:
  • Precisión: Porcentaje de salidas con cero violaciones (verbatim o morfológicas).
  • Tipos de violación: Cuota de violaciones exactas, violaciones morfológicas y "fugas del objetivo" (uso accidental de la palabra objetivo).
  • No : Tasa de agotamiento del presupuesto de razonamiento para el modelo GPT.
• Efectividad comunicativa:
  • LLM-como-juez: Dos modelos (Gemma y GPT) actuaron como jueces, leyendo las descripciones y adivinando el objetivo. La efectividad se midió mediante Pass@k (si el primer token del objetivo está en los top-k de predicciones) y Verosimilitud de token bruto (Raw token likelihood).
  • Evaluación humana: 8 anotadores participaron en dos fases:
    • Adivinación: Los anotadores adivinaron objetivos a partir de descripciones generadas por modelos.
    • Descripción: Los anotadores generaron descripciones bajo condiciones "espontáneas" (estilo oral) y "deliberadas" (escrito) para servir como línea base del rendimiento de los modelos.

3. Resultados clave

3.1. Cumplimiento de restricciones

• Prompting: Mejoró significativamente el cumplimiento respecto al baseline sin restricciones. Gemma-3-4b-it alcanzó un 91.2% de precisión; GPT-oss-20b con razonamiento alcanzó un 97.4%. El razonamiento ayudó a GPT a suprimir palabras verbatim pero fue menos efectivo contra variantes morfológicas.
• Generación con restricciones: Logró un cumplimiento casi perfecto. Gemma-3-4b-it alcanzó un 98.5% (a priori) y un 96.4% (en línea). GPT-oss-20b con razonamiento alcanzó un 92.3% (a priori) pero cayó a un 87.1% (en línea), con una mayor tasa de fugas de la palabra objetivo.
• Direccionamiento por SAE: Funcionó pobremente en cuanto al cumplimiento (55.7%), significativamente inferior al prompting y a la generación con restricciones. Esto sugiere que el direccionamiento a nivel de representación por sí solo no puede imponer de forma fiable restricciones léxicas de superficie.

3.2. Efectividad comunicativa (Informatividad)

• Compensaciones (Trade-offs): El método de imposición de la restricción moldeó la calidad de la descripción.
  • El prompting tendió a producir descripciones excesivamente cautelosas e informacionalmente escasas.
  • La generación con restricciones forzó al modelo hacia paráfrasis semánticamente más precisas, resultando en puntuaciones de Pass@10 más altas para los jueces en comparación con el prompting.
  • El direccionamiento por SAE mostró una disociación sorprendente: a pesar del bajo cumplimiento, produjo descripciones competitivamente informativas (Pass@10 de hasta 21.1%), lo que sugiere que bloquear tokens de superficie impone un costo descriptivo que la intervención a nivel de representación evita.
• Sensibilidad del Juez: Los dos modelos jueces difirieron significativamente en sensibilidad. GPT-oss-20b asignó una probabilidad cercana a cero a los objetivos en la mayoría de las condiciones, mientras que Gemma-3-4b-it fue más generoso, aunque ambos coincidieron en el orden relativo de los métodos.

3.3. Modelo vs. Humano

• Asimetría en la adivinación: Los modelos se desempeñaron sustancialmente peor que los humanos como adivinadores.
  • Los anotadores humanos lograron un 30.77% de precisión adivinando a partir de descripciones de modelos.
  • Los jueces de modelos (incluso Gemma-3-4b-it) requirieron de 5 a 10 intentos (Pass@5 a Pass@10) para acercarse a la precisión que los humanos lograron con solo 1 intento (Pass@1) sobre descripciones escritas por humanos.
  • GPT-oss-20b como juez asignó una probabilidad cercana a cero a los objetivos correctos en casi todos los casos.
• Asimetría en la descripción:
  • Para los modelos, el razonamiento (CoT) mejoró significativamente el cumplimiento (72.2% vs 97.4% para GPT).
  • Para los humanos, las descripciones orales espontáneas produjeron una mayor precisión de adivinación (95%) que las descripciones escritas deliberadas (85%), probablemente debido a la refinación interactiva y en tiempo real posible en la comunicación oral, que la generación de texto estático carece.

4. Contribuciones y Significado

Contribuciones clave

1. Marco de restricción multinivel: El artículo compara sistemáticamente las estrategias de cumplimiento de restricciones a través de tres niveles del proceso generativo: prompting, enmascaramiento en el tiempo de decodificación y manipulación de la representación interna (SAEs).
2. Evaluación bidireccional Humano-Modelo: A diferencia de estudios previos que dependen únicamente de métricas automáticas, este trabajo fundamenta la evaluación en el juego real invirtiendo los roles: los humanos adivinan descripciones de modelos, y los modelos adivinan descripciones de humanos.
3. Caracterización de compensaciones: El estudio demuestra que la observancia de las reglas y la efectividad comunicativa no son controlables de forma independiente. El mecanismo utilizado para imponer una restricción (instrucción vs. decodificación vs. representación) altera fundamentalmente la naturaleza del output, creando distintas compensaciones entre la seguridad (evitar palabras prohibidas) y la utilidad (evocar el objetivo).

Significado y Afirmaciones

Los autores afirman que el anclaje léxico bajo restricción sigue siendo un desafío abierto para los modelos de lenguaje actuales.

• La "Brecha de Adivinación": La incapacidad de los modelos para adivinar objetivos a partir de descripciones indirectas con la eficiencia de un humano sugiere que los LLM carecen de la misma red de asociaciones léxicas prominentes que hacen que el Tabú sea intuitivo para los humanos. Los autores sugieren que esto apunta a una diferencia entre el procesamiento de "Sistema 1" (asociativo y rápido) usado por los humanos y el razonamiento de "Sistema 2" (deliberado) de los modelos.
• Limitaciones: Los autores señalan modestamente que el benchmark es actualmente solo en italiano, el conjunto de evaluación compartido es pequeño (10 palabras) y el direccionamiento por SAE solo se probó en una arquitectura. También destacan que el estudio evalúa los modelos en un entorno de un solo turno, mientras que el juego original es inherentemente interactivo.
• Dirección Futura: El artículo argumenta que juegos como el Tabú constituyen un banco de pruebas natural y poco explorado para las capacidades de los modelos de lenguaje, específicamente para sondear la adaptación pragmática y el anclaje colaborativo en configuraciones multi-agente y de múltiples turnos.