Resumen Técnico: Cuando los robots evalúan sus propias interacciones

Declaración del Problema

La evaluación de la Interacción Humano-Robot (HRI) es actualmente unidireccional: los humanos califican a los robots utilizando instrumentos estandarizados (por ejemplo, Godspeed, RoSAS, HRI-CUES), mientras que la perspectiva del robot permanece sin examinar. A medida que los robots sociales dependen cada vez más de los Modelos de Lenguaje Extensos (LLM) para sus capacidades conversacionales, existe una brecha crítica en comprender si estos modelos pueden evaluar válidamente las interacciones desde la propia perspectiva del robot. Si bien investigaciones adyacentes sugieren que los LLM pueden actuar como proxies de los participantes humanos en estudios de comportamiento, a menudo exhiben un sesgo de positividad y tienen dificultades con la predicción a nivel individual. Además, ningún trabajo previo ha examinado al LLM como un participante dentro de la interacción (el paradigma de la "evaluación invertida") en lugar de como un observador externo. El problema central es determinar si los robots impulsados por LLM pueden generar autoevaluaciones válidas de la calidad de la interacción, específicamente respecto a constructos como el compromiso (engagement) frente a estados afectivos internos como la "extrañeza" (strangeness) o la incomodidad.

Metodología

Los autores llevaron a cabo dos estudios para investigar tres preguntas de investigación: (1) ¿Convergen las calificaciones generadas por LLM con la verdad de terreno humana? (2) ¿En qué constructos tienen éxito o fracasan los LLM? (3) ¿Cómo se desempeña este paradigma en interacciones encarnadas en vivo?

Estudio 1: Análisis Retrospectivo

• Dataset: El conjunto de datos HRI-CUES, que comprende transcripciones de 25 adultos mayores conversando con un robot Furhat (impulsado por ChatGPT 3.5). Las transcripciones fueron traducidas del sueco al inglés.
• Modelos: Se evaluaron cinco LLM: GPT-3.5, GPT-4o-mini, GPT-4o, Claude Sonnet 4.5 y Claude Haiku 4.5.
• Procedimiento: Se le dio un prompt a los LLM con una personalidad de robot, la transcripción de la interacción y elementos de cuestionario "invertidos" (por ejemplo, "Disfruté hablar con el robot" se convirtió en "El humano parecía disfrutar hablando conmigo").
• Instrumentos: HRI-CUES (Satisfacción, Disfrute, Interés, Comodidad/Extrañeza), Cuestionario Godspeed y RoSAS.
• Controles: El estudio incluyó controles de robustez como la aleatorización de ítems, variaciones de personalidad, muestreo de temperatura y generación de conversaciones sintéticas para descartar artefactos de prompt o confundidos de longitud.
• Extensión Multimodal: La Fase 3 probó el efecto de añadir etiquetas de afecto e imágenes faciales sintéticas a la entrada de texto para el modelo Claude Sonnet.

Estudio 2: Piloto Encarnado en Vivo

• Configuración: Un robot humanoide Nao ("Noah") ejecutando Claude Sonnet 4.5 entabló conversaciones de dominio abierto con cuatro miembros del laboratorio.
• Evaluación en Tiempo Real: El robot capturó imágenes faciales y transcribió el habla en cada turno, enviando ambos a la API para generar una respuesta conversacional y calificaciones inmediatas de HRI-CUES.
• Comparación: Los participantes proporcionaron calificaciones independientes durante y después de la interacción, lo que permitió una comparación de la divergencia turno a turno entre las calificaciones humanas y las del robot.

Resultados Clave

1. Fiabilidad y Validez del Compromiso

Los LLM demostraron una alta consistencia interna y fiabilidad.

• Fiabilidad: La fiabilidad test-retest (ICC) fue excelente en todos los modelos (Claude ≥ .99; GPT-4o/4o-mini .94–.95; GPT-3.5 .82).
• Dimensiones de Compromiso: Los LLM lograron una concordancia de moderada a fuerte con la verdad de terreno humana en los constructos de compromiso. Las correlaciones para el Disfrute oscilaron entre $r = .46$ y $.72$, y para la Satisfacción entre $r = .18$ y $.65$. Los modelos de mayor capacidad generalmente mostraron una mayor validez.
• Sesgo de Positividad: Se observó un sesgo de positividad general, donde los LLM calificaron la satisfacción, el interés y la comodidad por encima de los autoinformes humanos, aunque el Disfrute fue la única dimensión calificada por debajo de la verdad de terreno.

2. El "Fallo de la Extrañeza"

El hallazgo más significativo fue un fallo sistemático en la dimensión de Comodidad/Extrañeza.

• Correlación Invertida: En todos los cinco modelos, las calificaciones de los LLM para la comodidad (codificación inversa de extrañeza) mostraron correlaciones negativas significativas con la verdad de terreno humana ($r = -0.44$ a $-0.67$).
• Mecanismo: Los autores argumentan que los LLM confunden "compromiso" con "comodidad". Cuando los participantes expresaban curiosidad, indagación filosófica o sorpresa sobre la naturaleza del robot, el LLM interpretaba esto como señales positivas de compromiso en lugar de indicadores de extrañeza o incomodidad.
• Persistencia: Este fallo persistió a través de:
  • Diferentes arquitecturas de modelos (OpenAI vs. Anthropic).
  • Controles sintéticos (donde el sentimiento fue etiquetado explícitamente, el ítem de "extrañeza" seguía siendo sistemáticamente invertido).
  • Despliegue encarnado en vivo (Estudio 2), donde el robot calificó las conversaciones filosóficas como altamente cómodas mientras que los humanos las calificaron como altamente extrañas.

3. Generalización de Escala y Multimodalidad

• Compatibilidad de Escala: Los LLM procesaron y completaron con éxito las escalas Godspeed y RoSAS con alta consistencia.
• Entrada Multimodal: Añadir etiquetas de afecto o imágenes faciales sintéticas produjo cambios específicos del modelo (por ejemplo, GPT-4o trató las etiquetas de afecto como evidencia de compromiso; Claude las trató como una forma de reducir la ambigüedad), pero no resolvió el fallo de la extrañeza. La brecha de validez para la incomodidad permaneció.
• Interacción en Vivo: En el Estudio 2, el robot rastreó con éxito el desinterés conductual (por ejemplo, cuando un participante declaró explícitamente que no quería hablar), pero falló en detectar la "extrañeza" de las discusiones filosóficas profundas, malinterpretándolas como una interacción de alta calidad.

Contribuciones Clave

1. Marco de Evaluación Invertida: El artículo establece una metodología para que los robots impulsados por LLM completen cuestionarios estandarizados de HRI desde su propia perspectiva, yendo más allá del paradigma tradicional centrado únicamente en el humano.
2. Condiciones Límite de la Percepción Social de los LLM: El estudio define límites claros en la utilidad de los LLM para la HRI. Si bien los LLM son válidos para evaluar dimensiones de compromiso conductual (disfrute, satisfacción), son inválidos para evaluar estados afectivos internos como la extrañeza o la incomodidad que no se verbalizan explícitamente.
3. Evidencia Empírica del "Fallo de la Extrañeza": El documento proporciona evidencia robusta (a través de 1,522 evaluaciones, cinco modelos y despliegue en vivo) de que los LLM invierten sistemáticamente la dimensión de comodidad/extrañeza, confundiendo la curiosidad y la novedad con la comodidad.
4. Distinción entre el Encuadre de Observador y de Participante: Los autores demuestran que, si bien los LLM pueden desempeñarse bien como observadores externos de escenarios de HRI, su desempeño se degrada cuando actúan como participantes, sacrificando algo de concordancia por la capacidad de realizar una evaluación bilateral in situ.

Significado y Reivindicaciones

El artículo sostiene que la autoevaluación basada únicamente en LLM es insuficiente para una evaluación integral de la HRI. El "fallo de la extrañeza" indica que los LLM actuales carecen de acceso a los estados afectivos internos necesarios para evaluar constructos que dependen de la experiencia subjetiva del humano ante la presencia física o la naturaleza del robot.

Los autores argumentan que, para que los robots puedan adaptarse socialmente de manera efectiva (en el diálogo, la navegación o el cuidado), no pueden confiar únicamente en la inferencia de los LLM. En su lugar, es necesario utilizar modalidades de detección suplementarias —como señales fisiológicas (ej. frecuencia cardíaca), seguimiento ocular o proxémica— para capturar estados internos que los participantes no expresan verbalmente. El paradigma de la evaluación invertida se presenta como un complemento viable para los constructos relacionados con el compromiso, pero debe ser aumentado con datos no verbales para abordar el punto ciego respecto a la incomodidad y la extrañeza.