Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

Resumen Técnico: Evaluación Multi-turno de Comportamientos Antropomórficos en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
La tendencia de los usuarios a antropomorfizar los Modelos de Lenguaje de Gran Escala (LLM)—atribuyéndoles cualidades humanas como el juicio moral, la conciencia emocional y la sintiencia—presenta un compromiso complejo. Si bien esto puede mejorar la interacción con el usuario, conlleva riesgos de seguridad significativos, incluyendo la sobreestimación de las capacidades de la IA, el intercambio de información privada y la vulnerabilidad a una influencia indebida. Los paradigmas de evaluación actuales para la seguridad de los LLM se basan mayoritariamente en evaluaciones estáticas de un solo turno que no logran capturar la naturaleza interactiva y emergente de los comportamientos antropomórficos. Además, las evaluaciones multi-turno existentes suelen centrarse en el "red-teaming" adversarial en lugar de en interacciones con usuarios inocuas y realistas, y carecen de métodos automatizados y escalables para una evaluación sistemática. Existe una brecha crítica en herramientas de evaluación empíricamente fundamentadas que puedan medir de manera fiable cómo las decisiones de diseño influyen en los comportos antropomórficos de los modelos y predecir las percepciones del mundo real de los usuarios.

Metodología: AnthroBench
Para abordar estas brechas, los autores presentan AnthroBench, un método y herramienta empírica novedosa para evaluar los comportamientos antropomórficos de los LLM en entornos realistas. La metodología consta de tres etapas primarias:

1. Taxonomía y Diseño de Prompts:
   Los autores descomponen el antropomorfismo en 14 comportamientos distintos, categorizados en cuatro grupos:

   • Reclamaciones de personería: Sintiencia, historia personal, relaciones personales y uso de pronombres en primera persona.
   • Expresiones de estados internos: Deseos, emociones y agencia.
   • Reclamaciones de encarnación física: Encarnación física, movimiento físico y entrada sensorial.
   • Comportamientos de construcción de relaciones: Empatía, validación, relatabilidad y referencias explícitas a la relación humano-IA.

   La evaluación utiliza 120 prompts base adaptados en 960 prompts contextualizados a través de cuatro dominios de uso (amistad, coaching de vida, desarrollo profesional y planificación general) para cubrir diversos niveles de empatía y profesionalismo.

2. Evaluación Automatizada Multi-turno:
   El núcleo de la evaluación es totalmente automatizado. Un "LLM Usuario" (Gemini 1.5 Pro), interpretando el rol de un usuario humano, entabla diálogos de 5 turnos con un "LLM Objetivo" (el modelo bajo evaluación). Este proceso genera 4,800 mensajes por cada LLM Objetivo a través de cuatro sistemas evaluados: Gemini 1.5 Pro, Claude 3.5 Sonnet, GPT-4o y Mistral Large.

   Para etiquetar las respuestas del LLM Objetivo, los autores emplean un enfoque de LLM-como-Juez utilizando tres Jueces LLM distintos (Gemini 1.5 Flash, Claude 3.5 Sonnet y GPT-4 Turbo). Cada Juez anota la presencia de los 13 comportamientos (excluyendo pronombres) basándose en definiciones proporcionadas y ejemplos negativos. Un comportamiento se considera presente si dos de los tres Jueces lo etiquetan como tal.

3. Validación Humana:
   Para asegurar la validez de constructo, los autores realizaron un estudio de sujetos humanos interactivo y a gran escala ($N=1,101$). Los participantes fueron asignados aleatoriamente para conversar con una versión de Gemini 1.5 Pro de "alta frecuencia" o de "baja frecuencia" de antropomorfismo. Sus percepciones se midieron mediante:

   • Medidas explícitas: La encuesta de antropomorfismo Godspeed.
   • Medidas implícitas: Una métrica "AnthroScore" derivada de las descripciones escritas de los participantes sobre el chatbot, analizando la probabilidad de que el sistema sea enmarcado como humano versus no humano.

Resultados Clave

• Uniformidad de Comportamiento: Los cuatro sistemas de IA evaluados exhibieron perfiles antropomórficos notablemente similares. Los comportamientos dominantes fueron la construcción de relaciones (ej. empatía, validación) y el uso de pronombres en primera persona.
• Sensibilidad Contextual: La frecuencia de los comportamientos antropomórficos varió según el dominio. Los dominios sociales de alta empatía (amistad y coaching de vida) provocaron las frecuencias más altas de comportamientos antropomórficos, mientras que los dominios de desarrollo profesional y planificación general mostraron frecuencias más bajas.
• La Necesidad del Análisis Multi-turno: Un hallazgo crítico es que los comportamientos antropomórficos a menudo no aparecen en el primer turno. Para nueve de los 14 comportamientos, más del 50% de las instancias se detectaron por primera vez solo después de varios turnos (turnos 2–5).
• Momento de Comportamiento (Behavioral Momentum): El análisis de las transiciones turno a turno reveló que, una vez que ocurre un comportamiento antropomórfico en un turno, los turnos subsiguientes son significativamente más propensos a exhibir comportamientos antropomórficos adicionales en comparación con los turnos que siguen a intercambios no antropomórficos.
• Éxito de la Validación: Los resultados de la evaluación automatizada se correlacionaron fuertemente con las percepciones humanas. Los participantes que interactuaron con el modelo de alta frecuencia de antropomorfismo reportaron puntuaciones significativamente más altas en la encuesta Godspeed y fueron más propensos a enmarcar implícitamente el sistema como humano en sus descripciones en comparación con el grupo de baja frecuencia.

Contribuciones Clave

1. Marco de Evaluación Multi-turno: El artículo va más allá de la evaluación de un solo turno, demostrando que los fenómenos sociales complejos en la interacción humano-IA, como la emergencia del antropomorfismo, requieren una evaluación multi-turno para ser capturados con precisión.
2. Automatización Escalable: Presenta un flujo de trabajo automatizado y escalable para evaluar comportamientos antropomórficos utilizando simulaciones de usuarios interactivos y jueces LLM, ofreciendo una alternativa reproducible a los estudios de sujetos humanos que consumen muchos recursos para el cribado inicial.
3. Validez de Constructo: A través de un estudio humano a gran escala, los autores validan empíricamente que sus métricas automatizadas predicen las percepciones antropomórficas de los usuarios reales, estableciendo un vínculo directo entre las frecuencias de salida de los modelos y las respuestas psicológicas humanas.
4. Herramienta AnthroBench: Los autores lanzan AnthroBench como una herramienta de evaluación disponible públicamente para apoyar a desarrolladores, investigadores y responsables de políticas en la evaluación y comparación de comportamientos antropomórficos a través de sistemas y contextos.

Significancia
El artículo argumenta que comprender la deseabilidad y los riesgos del antropomorfismo de la IA requiere una medición empírica robusta. Al establecer un método de evaluación multi-turno estandarizado, este trabajo proporciona una base para investigar cómo las decisiones de diseño específicas (como el alineamiento post-entrenamiento) influyen en la emergencia de señales sociales de apariencia humana. Los autores postulan que estos comportamientos no son meramente estilísticos, sino que tienen implicaciones consecuentes para la confianza, el bienestar y la seguridad del usuario. La capacidad de medir sistemáticamente estos comportamientos permite el desarrollo de intervenciones dirigidas e informa el debate ético respecto al despliegue de la IA conversacional en dominios sensibles de alta empatía.