💻 computer science

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind

Este artículo presenta OSCToM, un enfoque guiado por aprendizaje por refuerzo que genera escenarios de conflicto observador-yo para mejorar significativamente el razonamiento de la Teoría de la Mente en los Modelos de Lenguaje de Gran Escala, logrando una precisión del 76% en el benchmark FANToM de información asimétrica en comparación con el 0,2% de los métodos anteriores.

Autores originales: Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

Publicado 2026-05-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sharmin Sultana Srishty, Kazi Mahathir Rahman, Malaika Parizat Sakkhi, Samia Shahid Prianna, Shaikhul Islam Sinat

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás viendo una obra de teatro compleja donde los actores susurran secretos, esconden objetos y fingen saber cosas que no saben. La mayoría de los modelos de IA actuales son como miembros del público que pueden recitar las líneas perfectamente, pero se confunden cuando la trama da un giro. Podrían pensar: "Oh, el actor está sosteniendo una pelota roja", cuando en realidad, el actor está fingiendo sostener una pelota roja para engañar a alguien más.

Este artículo introduce OSCToM, una nueva forma de enseñar a la IA a comprender estos trucos "mentales". Aquí está el desglose de cómo funciona, utilizando analogías simples.

El Problema: La Brecha de "Lectura Mental"

Los modelos de IA actuales son excelentes escribiendo historias, pero luchan con la Teoría de la Mente. Esta es la capacidad humana de entender que otras personas tienen pensamientos, creencias y conocimientos diferentes a los nuestros.

Piénsalo como un juego de "Teléfono". Si te digo un secreto y tú le mientes a una tercera persona, una IA inteligente debería saber:

Qué es realmente cierto.
Qué tú piensas que es cierto.
Qué la tercera persona piensa que es cierto (incluso si están equivocados).

Las pruebas antiguas para la IA eran como acertijos simples. La IA podía adivinar la respuesta detectando patrones en las palabras. Pero cuando las historias se complicaban, como cuando un observador intenta averiguar qué está pensando otra persona sobre el secreto de una tercera persona, la IA se perdía.

La Solución: OSCToM (El Entrenador de "Conflicto")

Los autores crearon un sistema llamado OSCToM (Teoría de la Mente de Conflicto Observador-Yo). La idea central es entrenar a la IA con historias donde la creencia interna de un observador choca con lo que cree que alguien más cree.

La Analogía: Imagina una película de espías. El espía (el observador) sabe que la caja fuerte está vacía. Pero el espía también sabe que el villano cree que la caja fuerte está llena de oro. El espía debe actuar como si la caja estuviera llena para engañar al villano. OSCToM entrena a la IA para manejar este tipo específico de malabarismo mental.

Cómo lo Construyeron: El Enfoque de "Videojuego"

En lugar de escribir miles de historias a mano, el equipo construyó un "motor de juego" para generarlas automáticamente.

El Libro de Reglas (DSL Extendido): Crearon un lenguaje especial que actúa como un libro de reglas para un juego. Les permite programar movimientos específicos como Localización Engañosa (mentir sobre dónde está un objeto) o Espejos Unidireccionales (una persona ve algo que la otra no). Esto les permite construir historias con hasta cuatro capas de "pensar sobre pensar".
El Entrenador (Modelos Sustitutos): Entrenar a una IA para escribir estas historias normalmente requiere una supercomputadora para calificar cada oración, lo cual es lento y costoso. En su lugar, el equipo entrenó seis "mini-entrenadores" pequeños y rápidos (modelos de IA pequeños). Estos entrenadores revisan rápidamente las historias para ver: ¿Hay una mentira? ¿Es el pensamiento lo suficientemente profundo? ¿La línea de tiempo es confusa? Esto hizo que el proceso fuera 6 veces más rápido.
El Jugador (Aprendizaje por Refuerzo): Utilizaron una IA "jugadora" (usando un método llamado DQN) que juega el juego una y otra vez. Intenta crear la historia más confusa y tramposa posible para engañar a un modelo de prueba. Los "mini-entrenadores" le dan puntos por hacer la historia más difícil. El jugador aprende a crear los escenarios "desquiciantes" perfectos.
El Estudiante (Entrenamiento en Dos Etapas): Finalmente, tomaron un modelo de IA estándar (Llama-3.1-8B) y lo enseñaron usando estas historias truculentas. No le lanzaron las historias más difíciles de inmediato.
- Etapa 1: Le enseñaron mentiras simples y creencias básicas (como un niño aprendiendo a compartir).
- Etapa 2: Una vez que dominó lo básico, introdujeron las historias complejas de espías multicapa.

Los Resultados: Pequeño pero Poderoso

El resultado es un modelo llamado OSCToM-8B. Aunque es más pequeño que muchos otros modelos de IA famosos, funcionó increíblemente bien:

La Prueba FANToM: En una prueba difícil que involucraba asimetría de información (donde los personajes saben cosas diferentes), el mejor método anterior (ExploreToM) obtuvo un 0.2% de aciertos. OSCToM-8B obtuvo un 76% de aciertos. Eso es un salto masivo.
Velocidad: El método antiguo era como resolver un rompecabezas probando cada pieza una por una (lento). OSCToM-8B es como mirar la imagen de la caja y resolverlo instantáneamente. Es 5.7 veces más rápido al responder preguntas.
Eficiencia: Logró estos resultados con menos recursos informáticos (parámetros) que modelos de 3 a 4 veces más grandes.

La Conclusión

El artículo afirma que, al enseñar a la IA a manejar "Conflictos Observador-Yo" (donde lo que sabes choca con lo que crees que otros saben) utilizando un juego de entrenamiento inteligente y automatizado, podemos crear modelos de IA más pequeños y rápidos que son mucho mejores entendiendo situaciones sociales complejas y el engaño.

Lo que no afirma: El artículo no dice que esta IA ahora pueda usarse en terapia, para detectar mentiras en seguridad en tiempo real, o para entender emociones humanas como el amor o el duelo. Se centra estrictamente en la lógica de las creencias, el conocimiento y el engaño en escenarios basados en texto.

Resumen Técnico: OSCTOM – Generación Adversarial Guiada por RL para la Teoría de la Mente de Alto Orden

1. Declaración del Problema

Los Modelos de Lenguaje Grandes (LLM) demuestran competencia en tareas lingüísticas estándar, pero exhiben un rendimiento inconsistente en el razonamiento de Teoría de la Mente (ToM), particularmente en contextos sociales complejos que involucran creencias recursivas y asimetría de información. Los puntos de referencia existentes, como ExploreToM, a menudo fallan en probar adecuadamente el Conflicto Observador-Yo—un estado cognitivo específico donde un observador atribuye una creencia a otro agente que contradice el conocimiento factual interno del propio observador.

Las limitaciones actuales incluyen:

Puntos de referencia estáticos: Los primeros conjuntos de datos (por ejemplo, ToMi) dependen de viñetas escritas a mano que los modelos pueden resolver mediante emparejamiento de patrones superficiales en lugar de un seguimiento genuino de creencias.
Límites de generación basada en búsqueda: Marcos como ExploreToM utilizan búsqueda heurística A* con Lenguajes Específicos de Dominio (DSL). Aunque son efectivos para generar historias adversarias, estos métodos están restringidos por espacios de búsqueda rígidos, carecen de adaptación de políticas a partir de la experiencia y a menudo priorizan el volumen informativo sobre la complejidad estructural específica de los conflictos de creencias anidados.
Brechas de razonamiento: Los modelos a menudo fallan cuando las estructuras de la tarea cambian ligeramente, lo que indica una falta de modelos internos estables para estados de creencia causal, especialmente en escenarios multicapa y recursivos (por ejemplo, el Agente A razonando sobre la creencia del Agente B respecto a la intención del Agente C).

2. Metodología

El marco OSCToM aborda estas brechas mediante una tubería de cuatro componentes diseñada para generar y entrenar en escenarios adversarios de ToM de alto orden.

2.1 Lenguaje Específico de Dominio Extendido (OSCT-DSL)

Los autores introducen OSCT-DSL, una extensión de los DSL existentes capaz de formalizar el Conflicto Observador-Yo.

Formalismo: Define estados del mundo ( $W$ ) y estados de creencia ( $B$ ) para agentes, apoyando creencias recursivas hasta el 4º orden: $B^{(k)}_{i,j,...,n}(p) = B^{(1)}_i(B^{(k-1)}_{j,...,n}(p))$ .
Primitivas Adversarias: El lenguaje incluye operadores específicos para romper la simetría informativa:
- Localización Engañosa: Un agente miente sobre su ubicación, creando una creencia falsa en otro mientras mantiene un conocimiento interno verdadero.
- Observación Asimétrica: Un agente presencia una acción sin que la parte observada gane conocimiento recíproco.
- Engaño Recursivo (Doble Engaño): Un agente manipula a otro para que mienta a un tercero, superponiendo creencias de 3er orden sobre falsedades de 1er orden.

2.2 Tubería de Evaluación de Sustitutos Composicionales

Para superar el costo computacional de usar LLM grandes para el cálculo de recompensas durante el Aprendizaje por Refuerzo (RL), los autores emplean una Tubería de Sustitutos Composicionales.

Destilación: El conocimiento de Llama-3.3-70B se destila en seis módulos ligeros DistilBERT entrenados en 10,000 historias anotadas.
Seis Dimensiones Cognitivas: La recompensa se descompone en puntuaciones específicas en lugar de un único escalar:
1. Detector de Creencia Falsa: Verificación binaria de validez (debe existir para ToM).
2. Clasificador de Profundidad ToM: Estima el orden recursivo (1º–4º).
3. Puntúa de Engaño: Densidad de operadores manipulativos.
4. Puntúa de Complejidad Social: Frecuencia de comunicación entre agentes.
5. Puntúa de Complejidad Temporal: Número de transiciones distintas de estado del mundo.
6. Detector OSCT: Identifica específicamente estados de Conflicto Observador-Yo (mayor peso de recompensa).
Eficiencia: Esto reduce el tiempo de evaluación por historia de ~14 segundos (consulta LLM) a <50 milisegundos, permitiendo la síntesis de un corpus de 15,000 muestras.

2.3 Generación Adversarial Guiada por RL

El proceso de generación de historias se modela como un Proceso de Decisión de Markov (MDP).

Selección de Algoritmo: Los autores compararon A2C, PPO y Redes Q Profundas (DQN). Se seleccionó DQN por su superior estabilidad al aprender transiciones simbólicas discretas dentro del espacio de estados del DSL y su capacidad para encontrar casos de fallo de ToM que la búsqueda heurística podría pasar por alto.
Entrenamiento: El agente DQN optimiza una función de recompensa compuesta ( $R$ ) ponderada fuertemente hacia la detección de OSCT (40%) y la profundidad de ToM (30%).
Mejora Narrativa: Las trazas simbólicas DSL generadas por el agente de RL se convierten en prosa natural usando Llama-3.3-70B a través de la API de OpenRouter, preservando marcadores cognitivos como cadenas de engaño y ordenamiento temporal no lineal.

2.4 Ajuste Fino de Currículo en Dos Etapas

El conjunto de datos generado se utiliza para ajustar fino Llama-3.1-8B-Instruct usando un currículo escalonado para asegurar un aprendizaje estable de razonamiento de alto orden:

Etapa 1 (Fundamentos): Entrenamiento en escenarios de ToM de 1º y 2º orden para fundamentar el modelo en la toma de perspectiva básica.
Etapa 2 (Maestría): Entrenamiento en el corpus completo, incluidos conflictos recursivos de 3º y 4º orden, inicializado desde el punto de control de la Etapa 1.
Técnica: Ajuste Fino Eficiente en Parámetros (PEFT) mediante LoRA (rango 16, factor de escala 32) en todas las capas de proyección, permitiendo el entrenamiento en una sola GPU.

3. Resultados Clave

El modelo resultante, OSCToM-8B, fue evaluado contra siete sistemas base (incluyendo Llama-3.1-8B, Mistral-NeMo-12B, Phi-3-Medium-14B y variantes de Qwen2.5) en cuatro puntos de referencia.

Punto de referencia FANToM (Asimetría de Información): OSCToM-8B logró una precisión del 76.0%. Esto representa una mejora masiva sobre la línea base de ExploreToM, que reportó una precisión del 0.2% en el mismo punto de referencia.
Punto de referencia ToMi: OSCToM-8B logró una precisión del 79.5%, superando a la base Llama-3.1-8B (64.3%) y a modelos más grandes como Qwen2.5-32B (74.7%).
Punto de referencia BigToM: El modelo alcanzó una precisión del 89.8%, igualando estrechamente a Mistral-NeMo-12B (90.5%) a pesar de tener 4 mil millones de parámetros menos.
Punto de referencia Hi-ToM: OSCToM-8B obtuvo 65.3%, igualando a Phi-3-Medium-14B y superando significativamente a Gemma-2-27B (20.6%).

Eficiencia de Inferencia:

A diferencia de ExploreToM, que depende de búsqueda iterativa A* con complejidad $O(N)$ y una latencia de ~15.0s por consulta, OSCToM-8B utiliza inferencia neuronal directa (complejidad $O(1)$ ).
La latencia medida es de 2.62 segundos, una reducción de 5.7x en el tiempo de respuesta manteniendo una precisión superior.

4. Significado y Afirmaciones

El artículo afirma que OSCToM demuestra que la síntesis de datos adversarios dirigida combinada con el aprendizaje de currículo puede permitir que modelos más pequeños (8B parámetros) superen a modelos significativamente más grandes en tareas de razonamiento social complejo.

Conflicto Observador-Yo: El trabajo identifica y aborda un modo de fallo específico en la evaluación actual de ToM: la incapacidad de distinguir entre el conocimiento interno de un observador y su atribución de creencias a otros.
Eficiencia vs. Escala: El marco demuestra que las capacidades de razonamiento de alto orden no requieren estrictamente conteos masivos de parámetros si los datos de entrenamiento están estructurados para apuntar explícitamente a conflictos de creencias recursivas.
Practicidad: Al reemplazar la búsqueda heurística con generación guiada por RL y evaluación de sustitutos, el sistema logra una ganancia de eficiencia de 6x en la síntesis de datos y una mejora de 5.7x en la velocidad de inferencia, haciendo que el razonamiento de ToM de alto orden sea prácticamente desplegable.

Los autores concluyen que, aunque el DSL actual se centra en conflictos locativos y engañosos, el marco proporciona un camino principiado hacia una inteligencia social más generalizable en LLM, sugiriendo que la "brecha de razonamiento" puede cerrarse mediante entrenamiento adversario estructurado en lugar de simplemente escalar el tamaño del modelo.