Resumen Técnico: FriendBench

Declaración del Problema

La inteligencia social requiere razonar sobre las relaciones interpersonales basándose en claves conductuales en lugar de en el contenido verbal explícito. Aunque los sistemas de IA se están encargando cada vez más de mediar la interacción humana, su capacidad para inferir la dinámica social a partir del comportamiento multimodal sigue estando infraevaluada. Específicamente, existe una falta de evaluaciones de referencia (benchmarks) que aíslen la inferencia de la familiaridad previa (si dos personas se han conocido antes) del contenido semántico de su conversación.

El trabajo existente suele depender de diálogos guionizados, el contexto de la escena o la apariencia para inferir relaciones, o se dirige a constructos subjetivos como las emociones y las intenciones, que carecen de una verdad de referencia (ground truth) inequívoca. Los autores postulan que una sonda "limpia" de la percepción social debe basarse en rebanadas finas de claves conductuales (thin-slice behavioral cues) (Ambady y Rosenthal, 1992), donde el tema de la conversación esté controlado, obligando al observador a depender únicamente de cómo interactúan las personas (coordinación, respuesta, orientación) en lugar de de qué dicen.

Metodología

Construcción del Benchmark (FriendBench)

Los autores presentan FriendBench, un benchmark de clasificación binaria (Familiar vs. Desconocidos) derivado del conjunto de datos Seamless Interaction (Agrawal et al., 2025).

• Estímulos: 96 díadas equilibradas (48 familiares, 48 desconocidas) extraídas de interacciones naturales de tipo "O esto o aquello" (Either-Or) para romper el hielo.
• Control: Cada díada responde al mismo tipo de consigna hipotética de elección forzada (por ejemplo, "¿Preferirías volar o ser invisible?"). Esto asegura que el tema de la conversación esté emparejado entre las clases, evitando que el contenido semántico revele la respuesta.
• Modalidad: Cada interacción se evalúa en tres condiciones:
  1. Texto: Solo transcripciones.
  2. Audio: Solo habla.
  3. Video: Audiovisual (habla + comportamiento visible).
• Diseño: El conjunto de datos es disjunto por participante (ningún individuo aparece en más de una díada) y está estratificado por sitio de grabación y composición de género para descartar variables de confusión. Los clips son de 20 segundos, ajustados a los límites de los turnos de palabra.

Protocolo de Evaluación

• Línea Base Humana: Un estudio con participación de la multitud (crowdsourced) con aproximadamente 90 evaluadores por modalidad (total ~280 evaluadores). Los evaluadores realizaron una tarea de elección forzada. El diseño utilizó una estructura incompleta de 6 bloques con datos faltantes planeados para permitir el modelado de la precisión y el sesgo de respuesta de los evaluadores individuales mediante efectos aleatorios cruzados.
• Evaluación de Modelos: Se evaluaron 26 modelos de siete empresas (OpenAI, Google, Anthropic, Alibaba, Mistral, Thinking Machines, Meta) en un entorno de aprendizaje cero (zero-shot). Los modelos recibieron instrucciones adaptadas directamente de las instrucciones humanas para asegurar la paridad en el encuadre de la tarea.
• Métricas:
  • Precisión (Accuracy): Clasificación correcta global.
  • Recall por clase: Sensibilidad para "Familiar" frente a "Desconocido".
  • Teoría de la Detección de Señales: $d'$ (capacidad de discriminación) y criterio $c$ (sesgo de respuesta). Un $c$ positivo indica un sesgo hacia "desconocido".

Contribuciones Clave

1. Benchmark FriendBench: Un conjunto de datos multimodal y un marco de evaluación para inferir la familiaridad de las díadas donde el tema semántico está controlado, aislando las claves conductuales.
2. Conjunto de Datos Emparejado Humano-Modelo: Publicación de las calificaciones humanas para todas las 96 díadas en texto, audio y video, lo que permite una comparación directa de la percepción humana y la del modelo bajo condiciones emparejadas.
3. Evaluación Exhaustiva de Modelos: Evaluación de 26 modelos de última generación (propietarios y de pesos abiertos) a través de las tres modalidades.
4. Análisis de Percepción vs. Sesgo: Una contribución metodológica que distingue entre discriminación (capacidad de distinguir las clases) y sesgo de respuesta (tendencia a favorecer una clase), revelando que humanos y modelos a menudo alcanzan una precisión similar a través de mecanismos distintos.

Resultados

Precisión y Modalidad

• Desempeño Humano: Los humanos actúan según el azar en texto (precisión de la multitud del 51.0%) pero mejoran significativamente con modalidades más ricas: 63.5% en audio y 71.9% en video.
• Desempeño de los Modelos: Los mejores modelos logran una precisión estadísticamente indistinguible de la multitud humana en todas las modalidades (por ejemplo, el mejor modelo 66.7% en audio/video frente al humano 63.5%/71.9%).
• Ganancias de Modalidad:
  • Texto: Ni los humanos ni los modelos encuentran una señal fiable; el desempeño es cercano al azar.
  • Audio: Tanto humanos como modelos ganan una discriminación fiable sobre el texto.
  • Video (Audiovisual): Los humanos obtienen un incremento fiable adicional de la conducta visible (ganancia de audio $\to$ video de +11.0%). Los modelos no. Los mejores modelos se estancan entre audio y video (por ejemplo, Gemini Video 66.7% vs. Gemini Audio 66.7%), fallando al explotar las claves visuales que los humanos utilizan.

Sesgo de Respuesta y Discriminación

Aunque la precisión agregada es similar, los mecanismos difieren:

• Humanos: Mantienen una regla de decisión equilibrada a través de las modalidades (criterio $c \approx 0$), identificando correctamente tanto a parejas familiares como a desconocidas con un recall relativamente equilibrado.
• Modelos: Exhiben un fuerte sesgo de respuesta hacia "desconocido".
  • En texto, los modelos se inclinan fuertemente hacia "desconocido" (por ejemplo, $gpt\_text\_mini$ tiene un 91.7% de recall para desconocidos pero solo un 20.8% para parejas familiares).
  • En video, el mejor modelo ($gemini\_video$) logra una alta precisión ($d' \approx 1.12$) principalmente etiquetando casi todas las parejas como "desconocidos" (91.7% de recall de desconocidos, 41.7% de recall de familiares), mientras que la multitud humana permanece equilibrada ($c = 0.06$).
• Conclusión: Los modelos alcanzan la paridad en precisión no igualando la discriminación humana, sino adoptando un prior efectivo que asume que los desconocidos son más comunes, lo que conduce a una regla de decisión sesgada.

Diferencias Individuales y Dificultad

• Rasgos del Evaluador: Los rasgos individuales de inteligencia social (TSIS) están mayoritariamente no correlacionados con la precisión en audio y video.
• Dificultad de la Díada: La dificultad es una propiedad de la interacción misma. Las díadas que son difíciles para los humanos son generalmente difíciles para los modelos, y esta dificultad se transfiere entre modalidades (por ejemplo, correlación audio-video $r=0.61$). Sin embargo, los humanos y los modelos a menudo fallan en clases diferentes debido a sus diferentes reglas de decisión.

Significado y Reivindicaciones

El artículo sostiene que, si bien los modelos multimodales actuales han alcanzado la precisión de nivel humano en esta tarea específica de percepción social, aún no replican la percepción humana.

1. La Brecha Visual: La divergencia más significativa es en la utilización del canal visual. Los humanos convierten de forma fiable las claves conductuales visibles en ganancias de precisión sobre el habla sola; los modelos actuales capturan la señal vocal pero explotan insuficientemente el canal visual.
2. Sesgo vs. Discriminación: Una alta precisión en tareas de percepción social puede ocultar un severo sesgo de clase. Los modelos pueden parecer competentes simplemente al adoptar por defecto la etiqueta de "desconocido", un comportamiento que fallaría en un despliegue del mundo real donde las tasas base difieren o donde omitir una pareja "familiar" tiene consecuencias distintas.
3. Estándar de Evaluación: Los autores argumentan que evaluar la percepción social requiere más que una única métrica de precisión. Métricas como el recall por clase, las estadísticas de detección de señales ($d'$ y $c$) y la dificultad a nivel de ítem son necesarias para revelar si un modelo realmente está "comprendiendo" la interacción o si simplemente está explotando priors estadísticos.

El benchmark sirve como un mecanismo de seguimiento para determinar si los futuros modelos pueden ser capaces de leer las relaciones de manera equilibrada, utilizando el comportamiento visible como lo hacen los humanos, en lugar de depender únicamente del habla o de priors sesgados.