GPT-4o reads the mind in the eyes

Resumen Técnico: GPT-4o lee la mente en los ojos

Planteamiento del problema
Si bien los Modelos de Lenguaje de Gran Tamaño (LLM) han demostrado la capacidad de reproducir inferencias similares a las humanas con respecto a emociones y estados mentales a partir de texto, sigue sin estar claro si esta capacidad se extiende a modalidades no textuales, específicamente a las claves sociales visuales. Los seres humanos poseen una sofisticada habilidad para "leer la mente en los ojos", una destreza que suele medirse mediante el Test de Lectura de la Mente en los Ojos (RMET). Este estudio investiga si GPT-4o, un LLM multimodal de última generación, puede realizar esta tarea y compara sus mecanismos de procesamiento con la cognición humana. Específicamente, los autores examinan si GPT-4o exhibe firmas de procesamiento facial similares a las humanas, como el "efecto de inversión" (reducción del rendimiento en rostros invertidos), y si sus patrones de error revelan diferencias cualitativas en cómo procesa la información del estado mental en comparación con los humanos.

Metodología
Los investigadores emplearon dos pruebas psicométricas validadas:

1. Reading the Mind in the Eyes Test (RMET): Una prueba estándar que utiliza 36 imágenes en blanco y negro de regiones oculares de rostros blancos.
2. Multiracial RMET (MRMET): Una versión más reciente y racialmente inclusiva que utiliza 37 imágenes en color de alta resolución de rostros diversos, diseñada para evitar el sesgo racial y asegurar que los estímulos no estuvieran presentes en los datos de entrenamiento de GPT-4o (lanzado en mayo de 2024; MRMET publicado en abril de 2024).

Diseño Experimental:

• Sujetos: 51 adultos humanos para el RMET y 400 adultos humanos para el MRMET (200 por orientación). GPT-4o (modelo gpt-4o-2024-08-06) fue probado con 25 repeticiones para RMET y 200 repeticiones para MRMET por orientación.
• Manipulación: Las imágenes se presentaron en dos orientaciones: vertical (upright) e invertida (inverted).
• Procedimiento: Tanto a los humanos como a GPT-4o se les pidió seleccionar la mejor palabra de entre cuatro opciones que describieran el estado mental de la persona en la imagen.
• Análisis:
  • Precisión (Accuracy): Medida como la fracción de respuestas correctas utilizando regresión logística de efectos mixtos.
  • Análisis de Errores: Los autores fueron más allá de la simple precisión para analizar la estructura de los errores utilizando la teoría de la información. Calcularon matrices de confusión, índices de concentración de error (ajustando una función de decaimiento exponencial a las probabilidades de error), similitud estructural (correlación de Spearman de los vectores de error) e información de contenido en los errores (información mutua que cuantifica cuánta información del estado mental se retiene incluso en las respuestas incorrectas).

Resultados Clave

1. Precisión del Rendimiento y el Efecto de Inversión:

   • Rostros Verticales: GPT-4o superó significativamente a los humanos tanto en el RMET como en el MRMET cuando los rostros estaban en posición vertical.
   • Rostros Invertidos: GPT-4o mostró una caída severa en el rendimiento (>50% de disminución), cayendo por debajo del nivel del azar para los rostros invertidos en el MRMET. Los humanos también mostraron un declive (aprox. 15%), pero se mantuvieron por encima del azar.
   • Interacción: Hubo una interacción significativa modelo-orientación, lo que indica que mientras los humanos experimentan una reducción cuantitativa en la eficiencia, GPT-4o experimenta una interrupción cualitativa en su capacidad para extraer información diagnóstica de los rostros invertidos.

2. Sesgos Raciales y de Género:

   • Raza: En el MRMET, GPT-4o funcionó significativamente mejor con rostros Blancos que con rostros No Blancos. Los participantes humanos no mostraron una diferencia significativa en la precisión basada en la raza del estímulo (aunque se observó una ventaja de la misma raza en subgrupos específicos).
   • Género: La inversión afectó desproporcionadamente el procesamiento de estímulos masculinos en GPT-4o, causando que el rendimiento cayera por debajo del azar, mientras que los humanos no mostraron una diferencia de precisión significativa por género.

3. Estructura de Error y Contenido de Información:

   • Consistencia: Los errores de GPT-4o fueron altamente consistentes a través de las ejecuciones (baja dispersión), mientras que los errores humanos fueron más dispersos.
   • Similitud Estructural: Para los rostros verticales, los patrones de error de los humanos y de GPT-4o mostraron una similitud moderada. Sin embargo, para los rostros invertidos, las estructuras de error divergieron significativamente. El patrón de error de GPT-4o para rostros invertidos fue débilmente similar a su propio patrón vertical y débilmente similar a los patrones humanos invertidos.
   • Información en los Errores: Los patrones de error de GPT-4o contenían significativamente más información que los errores humanos, particularmente para los rostros verticales. Esto sugiere que cuando GPT-4o se equivoca, no está adivinando al azar; está aplicando de manera consistente una lógica específica, aunque incorrecta, a la información del estado mental.
   • Dependencia de la Orientación: El contenido de información de los errores de GPT-4o disminuyó significativamente para los estímulos invertidos, mientras que la información de error humana se mantuvo estable a través de las orientaciones.

Significancia y Reivindicaciones
El artículo afirma que GPT-4o posee capacidades avanzadas para inferir estados mentales a partir de claves visuales mínimas (los ojos), superando la precisión humana en estímulos verticales. Sin embargo, el estudio destaca diferencias fundamentales en los mecanismos de procesamiento subyacentes:

• Diferencias Cualitativas vs. Cuantitativas: Los autores argumentan que, mientras el "efecto de inversión" en los humanos representa una reducción cuantitativa en la eficiencia del procesamiento (disrupción del procesamiento configuracional), en GPT-4o representa un cambio cualitativo en la estructura del espacio de error. GPT-4o no solo se vuelve menos eficiente; cambia a un modo de procesamiento diferente que es altamente estructurado pero fundamentalmente desalineado con la cognición humana cuando los rostros están invertidos.
• Sesgo Sistemático: La alta consistencia de los errores de GPT-4o implica que sus errores son sistemáticos en lugar de aleatorios. Esto sugiere que las perturbaciones (como la inversión) o los sesgos (como el sesgo racial) podrían conducir a malinterpretaciones sistemáticas y predecibles de los estados mentales humanos en las interacciones humano-IA, lo que potencialmente causaría fallos comunicativos.
• Artefactos de Entrenamiento: Los autores sugieren que la extrema vulnerabilidad de GPT-4o a la inversión probablemente proviene de sus datos de entrenamiento, que están abrumadoramente compuestos por rostros verticales, reflejando los déficits dependientes de la experiencia observados en las Redes Neuronales Convolucionales (CNN).
• Sesgo Racial: La disparidad en el rendimiento entre rostros Blancos y No Blancos confirma la presencia de sesgo racial en el procesamiento facial de GPT-4o, definido aquí como una disparidad en la precisión entre grupos raciales.

El estudio concluye que, si bien GPT-4o demuestra una impresionante sensibilidad social, sus capacidades de "lectura de la mente" son distintas de la cognición humana, caracterizándose por una estructura de error rígida y dependiente de la orientación, así como por sesgos raciales significativos que deben ser considerados para aplicaciones en salud mental, robótica social y tecnologías de comunicación.