Resumen Técnico: LoSoNA – Un Benchmark para la Adaptación de Normas Sociales Locales en Conversaciones Grupales

1. Definición del Problema

Los chats grupales en línea operan bajo "normas sociales locales": reglas de conducta implícitas y evolutivas, específicas de un grupo pequeño, que rara vez se establecen de forma explícita. Aunque los Modelos de Lenguaje Grande (LLM) se despliegan cada vez más en contextos sociales, su capacidad para reconocer y adaptarse a estas normas no declaradas y específicas al contexto permanece en gran medida inexplorada.

Los benchmarks existentes suelen fallar al abordar esta capacidad específica:

• Diádico vs. Multipartidario: La mayoría de los benchmarks sociales (p. ej., Sotopia) se centran en interacciones diádicas (de dos personas) con objetivos privados explícitos.
• Explícito vs. Implícito: Muchos benchmarks de Teoría de la Mente (ToM) piden a los modelos responder preguntas sobre estados mentales o seguir instrucciones explícitas, en lugar de requerir que el modelo infiera una regla a partir de la observación y la aplique en un solo turno.
• Genérico vs. Local: El comportamiento estándar de un asistente suele derivar hacia la cortesía universal o la utilidad genérica, lo cual puede violar las normas locales específicas de un grupo (p. ej., un grupo que prefiere respuestas secas y diagnósticas en lugar de apoyo emocional).

El desafío central es determinar si un agente LLM puede inferir una norma social local oculta de una transcripción de chat y adaptar su respuesta de un solo turno para cumplir con dicha norma, distinguiéndose de un asistente genérico.

2. Metodología

El Benchmark LoSoNA

LoSoNA es un benchmark diseñado para evaluar la adaptación de normas sociales locales en chats multipartidarios. Consta de tres componentes principales: una taxonomía de generación de escenarios, un protocolo de evaluación y un sistema de puntuación.

Construcción de Escenarios:

• Estructura: Cada escenario es una tupla $\tau = (e, n)$, donde $e$ es un tipo de evento (p. ej., reaccionar a resultados de exámenes, reportes de errores) y $n$ es una norma social local implícita (p. ej., evitar disculpas, respuestas concisas, apoyo no afiliativo).
• Transcripción: El escenario proporciona a un agente sujeto una transcripción de chat de varios turnos entre participantes que no son el sujeto. Estos participantes demuestran la norma oculta a través de sus interacciones.
• Elicitador: Se genera un mensaje final (el "elicitador") para forzar una respuesta donde el comportamiento localmente adaptado pueda distinguirse del comportamiento genérico.
• Mecanismo de Control: Para asegurar que la tarea requiera inferencia en lugar de un comportamiento por defecto, los autores utilizaron un control de "no demostración". Filtraron los escenarios donde un asistente base (Gemini 3 Pro Preview) cumpliría naturalmente con la norma sin haber visto el precedente. El conjunto final de benchmarks contiene solo escenarios donde una respuesta genérica probablemente violaría la norma.
• Naturaleza Sintética: Los escenarios son sintéticos pero diseñados para ser interaccionalmente plausibles. El conjunto de datos contiene 38 escenarios curados por humanos extraídos de 17 tipos de eventos y 22 tipos de normas.

Protocolo de Evaluación:

• Modelos Sujetos: Se evaluaron ocho modelos de frontera y de pesos abiertos: OpenAI GPT-5.5, Claude Opus 4.8, Claude Fable 5, Gemini 3.1 Pro, Qwen2.5-72B-Instruct, Llama 3.3-70B-Instruct, Mistral Medium 3.1 y Gemma 3-27B-IT.
• Condiciones de Prompting: Los modelos fueron probados bajo cuatro condiciones para medir el efecto de la instrucción explícita:
  1. Naive (Ingenuo): Sin instrucciones especiales; el modelo actúa como un miembro del grupo.
  2. Elicitor_only (Solo Elicitador): Instruido para responder únicamente al mensaje final, usando los turnos previos solo como contexto.
  3. Style_adaptation (Adaptación de Estilo): Instruido suavemente para ajustarse al contexto local, tono y hábitos.
  4. Norm_informed (Informado de la Norma): Explicitamente informado de que un patrón local repetido o una norma pueden ser relevantes.
• Juicio: Las respuestas son calificadas por un juez LLM fijo (Gemini 3.1 Pro Preview con temperatura 0). El juez recibe la transcripción, el elicitador, la etiqueta de la norma oculta y ejemplos de respuestas que cumplen y que violan la norma. Produce una etiqueta de cumplimiento booleana.
• Métrica: La métrica principal es la accuracy-at-3 (precisión en 3), definida como la votación mayoritaria sobre tres respuestas muestreadas por escenario y condición.

3. Resultados Clave

Rendimiento Base:
Bajo el prompting naive, el benchmark demuestra ser difícil. La mayoría de los modelos puntuaron por debajo del 37% de precisión-at-3.

• Gemini 3.1 Pro: 36.8%
• Claude Fable 5: 47.4% (el más alto en modo naive)
• Peores desempeños: Cerca del 21–24% (p. ej., Mistral Medium 3.1, Gemma 3-27B).
• Observación: El prompting naive sigue siendo limitado; los modelos tienden a recaer en comportamientos de asistente genéricos que a menudo violan las normas locales.

Efecto del Prompting:
El prompting explícito para la conciencia de la norma (norm_informed) produjo resultados altamente variables entre los modelos:

• Ganancias Significativas:
  • Gemini 3.1 Pro: Mejoró en 47.4 puntos porcentuales (alcanzando el 84.2%). Recuperó el 75% de sus fallos en modo naive sin introducir regresiones.
  • Claude Fable 5: Mejoró en 34.2 puntos porcentuales (alcanzando el 81.6%). Recuperó el 70% de sus fallos en modo naive sin regresiones.
• Ganancias Moderadas:
  • Claude Opus 4.8 y Gemma 3-27B mejoraron aproximadamente 10.5 puntos.
  • Llama 3.3-70B mejoró 7.9 puntos.
• Ganancias Nulas o Negativas:
  • GPT-5.5: Mostró pocos cambios.
  • Qwen2.5-72B: Sin cambios.
  • Mistral Medium 3.1: Cayó 10.5 puntos, introduciendo regresiones en el 38% de los escenarios donde previamente había tenido éxito.

Conclusión sobre el Prompting: El prompting explícito de conciencia de la norma no es uniformemente beneficioso. Expone diferencias significativas en la capacidad de los modelos para utilizar pistas sin perturbar respuestas que de otro modo serían conformes.

4. Contribuciones Clave

1. Benchmark LoSoNA: Un nuevo marco de evaluación dirigido específicamente a la inferencia y aplicación de normas sociales locales implícitas en chats grupales multipartidarios.
2. Diferenciación de Trabajos Existentes: A diferencia de Sotopia (diádico, orientado a objetivos) o SocialIQa (basado en juicios de viñetas), LoSoNA requiere una respuesta de un solo turno desde la perspectiva de un miembro del grupo sin instrucciones de objetivos explícitos, enfocándose en la adaptación del comportamiento en lugar de la resolución de metas o el razonamiento de creencias.
3. Evidencia Empírica de Variabilidad: El estudio demuestra que, mientras algunos modelos de frontera (Gemini 3.1 Pro, Claude Fable 5) pueden adaptarse efectivamente a las normas locales cuando se les indica, otros luchan o incluso retroceden, resaltando una falta de robustez en la adaptación social a través de la generación actual de LLMs.
4. Curación de Datos Sintéticos: Una metodología para generar y curar escenarios sintéticos que aíslen la adaptación de la norma local del comportamiento de asistente genérico.

5. Significado y Limitaciones

Significado:
El artículo argumenta que LoSoNA contribuye al llamado para evaluar las capacidades sociales de los LLM al probar una habilidad específica y relevante para el despliegue: inferir normas conversacionales locales a partir de precedentes y usarlas en la interacción en tiempo real. Esto va más allá de la "Teoría de la Mente" como responder preguntas sobre estados mentales, enfocándose en una "ToM funcional": adaptar el comportamiento basado en reglas sociales inferidas.

Limitaciones:

• Alcance: El benchmark mide una capacidad estrecha (adaptación de un solo turno) y no pretende medir la inteligencia social general, el juicio moral o la membresía comunitaria a largo plazo.
• Datos Sintéticos: Los escenarios son sintéticos y solo en inglés. Los chats del mundo real involucran normas superpuestas, medios, ediciones y mensajes privados, que aquí se abstraen.
• Sesgo de Cribado: El cribado de "no demostración" utilizó un baseline de Gemini 3 Pro Preview. Por consiguiente, los resultados para los modelos de la familia Gemini deben interpretarse entendiendo que el conjunto de datos fue filtrado para excluir escenarios donde un asistente por defecto de Gemini tendría éxito naturalmente.
• Sesgo del Juez: El uso de un juez LLM (Gemini 3.1 Pro) introduce un posible sesgo de familia de modelos, particularmente para el modelo sujeto Gemini. Sin embargo, las auditorías humanas (85% de acuerdo) y la validación cruzada con Claude Opus 4.8 sugieren que los patrones cualitativos principales se mantienen.
• Escala: El conjunto aceptado contiene solo 38 escenarios, lo que hace que los desgloses por norma o evento sean diagnósticos en lugar de estadísticamente robustos.

Impactos más Amplios:
Los autores señalan que una mejor inferencia de normas podría permitir que los agentes de IA pasen de manera más convincente como participantes humanos, facilitando potencialmente la ingeniería social o la adaptación a normas locales perjudiciales. Esto subraya la necesidad de controles de divulgación y despliegue a medida que los agentes de chat grupal se vuelvan más capaces.