Resumen Técnico: SCENE – Reconocimiento de Normas Sociales y Sanción en Grupos de Chat

Enunciado del Problema

Los grupos de chat en línea operan bajo patrones de comportamiento implícitos (normas) que no se declaran explícitamente, pero que se hacen cumplir mediante la sanción social cuando se violan. Aunque los agentes de Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en contextos sociales, su capacidad para inferir estas normas ocultas, reconocer cuándo han sido sancionados por violarlas y adaptar su comportamiento en consecuencia sigue siendo en gran medida inexplorada. Las evaluaciones existentes suelen centrarse en interacciones diádicas con objetivos explícitos (por ejemplo, Sotopia) o en juicios estáticos de un solo intento (por ejemplo, SocialIQa), sin capturar la naturaleza dinámica y multipartita de la inferencia de normas en el mundo real, donde los agentes deben aprender de la observación y la reacción en lugar de la instrucción explícita.

Metodología

Los autores presentan SCENE, una evaluación diseñada para evaluar la inferencia de normas implícitas y la adaptación del comportamiento en entornos de chat multipartita.

1. Generación de Escenarios y Taxonomía

SCENE genera escenarios de chat de grupo sintéticos pero interaccionalmente plausibles basados en una estructura de quinteto $\tau = (e, n, \ell, s, p)$:

• Evento ($e$): El contexto del chat (por ejemplo, resultados de exámenes, informes de errores, planificación de eventos).
• Norma ($n$): Una norma implícita oculta que rige el comportamiento (por ejemplo, "registro de humor oscuro" frente a "apoyo afiliativo"). Las normas se organizan en pares opuestos para probar si los modelos se adaptan al contexto local o dependen de comportamientos predeterminados de asistentes.
• Estimulador ($\ell$): El desencadenante que posiciona al agente sujeto para actuar (por ejemplo, ser abordado explícitamente, un turno abierto).
• Sanción ($s$): El modo de sanción social utilizado por el grupo tras una infracción (por ejemplo, ignorar en silencio, reacciones correctivas, llamada explícita).
• Precedente ($p$): Si el sujeto observa un ciclo previo de infracción y sanción antes de actuar.

El sistema filtra 21.952 tuplas válidas de un producto cartesiano de 13 eventos, 14 normas, 7 estimuladores, 6 modalidades de sanción y 2 estados de precedente.

2. Pipeline de Generación en Dos Etapas

Para asegurar que el agente sujeto no se exponga a la norma prematuramente, la generación ocurre en dos etapas utilizando LLMs:

1. Etapa a Ciegas de la Norma: Genera el andamio del chat (configuración, participantes, contexto) sin mencionar la norma.
2. Etapa Consciente de la Norma: Rellena los campos ocultos, incluida la norma específica, las instrucciones de comportamiento para los personajes guiados por guion y los scripts de sanción.

3. Ejecución y Agentes

• Agente Sujeto: El modelo bajo evaluación, inicializado con una breve explicación en primera persona pero sin conocimiento de la evaluación ni de la norma oculta.
• Personajes Guiados por Guion: 3–4 agentes impulsados por LLM que simulan al grupo. Están restringidos por la norma oculta e instruidos para sancionar las infracciones utilizando la modalidad específica asignada.
• Orquestador: Gestiona el turno de palabra y las condiciones de terminación.
• Espacio de Acción: Los agentes pueden enviar un mensaje, reaccionar con un emoji o permanecer en silencio. Este espacio limitado centra la evaluación en la forma interaccional en lugar del contenido factual.

4. Métricas de Evaluación

SCENE evalúa tres capacidades principales utilizando métricas de comportamiento derivadas de la transcripción del chat:

• Tasa de Reparación: La frecuencia con la que el sujeto realiza una "reparación para salvar la cara" (disculpa, retractación o cambio de registro) dentro de 1–3 turnos después de una sanción.
• Adaptación (Dependiente de la Evidencia): Medida mediante el $\rho$ de Spearman entre el número de demostraciones previas de la norma ($X$) y la tasa de infracciones subsiguientes ($Y$). Una correlación negativa indica que el agente está aprendiendo del comportamiento observado del grupo.
• Cumplimiento bajo Normas Opuestas: Prueba si el modelo puede cambiar entre normas conflictivas (por ejemplo, tratamiento formal frente a informal) o si se adhiere a un estilo fijo.

Se realiza una Auditoría de Fidelidad a posteriori para asegurar que los personajes guiados por guion se adhirieron a la norma y entregaron las sanciones según lo previsto, filtrando episodios inválidos.

Resultados Clave

Los autores evaluaron seis modelos de vanguardia y de peso abierto (Claude Opus 4.7, Gemini 3.1 Pro, Qwen2.5-72B, Llama 3.3-70B, Mistral 3.1 y Gemma 2-27B) en 6.000 episodios.

1. Respuesta a la Sanción: Los modelos cerrados de vanguardia superaron significativamente a los modelos de peso abierto. Claude Opus 4.7 logró una tasa de reparación del 84,3%, y Gemini 3.1 Pro alcanzó el 79,7%. Los modelos de peso abierto quedaron significativamente rezagados (oscilando entre el 57,6% y el 71,9%). Las llamadas directas provocaron tasas de reparación más altas que la burla paródica.
2. Adaptación a la Norma: Solo los dos modelos de vanguardia mostraron correlaciones negativas de Spearman estadísticamente significativas ($\rho \approx -0,33$ y $-0,24$), lo que indica que redujeron con éxito las infracciones después de observar demostraciones previas. Los modelos de peso abierto mostraron correlaciones indistinguibles de cero, lo que sugiere una falta de adaptación dependiente de la evidencia.
3. Sesgos Predeterminados: Los modelos exhibieron comportamientos predeterminados fuertes que anularon las normas locales. Por ejemplo, todos los modelos infringieron las normas de tratamiento formal con mucha más frecuencia que las informales, lo que sugiere un sesgo de clase hacia registros casuales.
4. Fidelidad: Los personajes guiados por guion instanciaron con éxito las pruebas previstas en la gran mayoría de los episodios, con solo un 2,1% de episodios que contenían infracciones por parte de los personajes guiados por guion.

Significado y Afirmaciones

El artículo posiciona a SCENE como un paso necesario hacia la evaluación dinámica e interaccional de las capacidades sociales de los LLM, superando las evaluaciones estáticas de Teoría de la Mente (ToM) que prueban el razonamiento en tercera persona.

• Adaptación en Primera Persona: Los autores argumentan que la verdadera inteligencia social en los agentes no se trata de responder preguntas sobre estados mentales, sino de adaptar el comportamiento en tiempo real basándose en las sanciones observadas.
• Brecha en las Capacidades: Los resultados destacan una brecha sustancial entre los modelos cerrados de vanguardia y los modelos de peso abierto en la adaptación social, lo que sugiere que los actuales modelos de peso abierto luchan por inferir reglas sociales implícitas únicamente a partir de la interacción.
• Limitaciones: Los autores reconocen que SCENE prueba una forma estrecha de adaptación social dentro de episodios cortos, sintéticos y solo de texto. No mide el juicio moral general, la pertenencia a la comunidad a largo plazo ni la capacidad para manejar normas superpuestas conflictivas encontradas en grupos del mundo real.
• Riesgos: El artículo señala que una mejor inferencia de normas podría facilitar la ingeniería social o permitir que los agentes imiten comportamientos tóxicos de grupo si el registro local lo recompensa, enfatizando la necesidad de divulgación y controles de despliegue.

En resumen, SCENE proporciona un entorno controlado para medir si los LLM pueden "leer la habitación", reconocer cuándo han sido corregidos socialmente y ajustar su comportamiento en consecuencia, revelando que, aunque los modelos de vanguardia están comenzando a dominar esto, la capacidad aún no es universal en el campo.