LLM-Based Selection of Incongruent Verbal and Nonverbal Behavior for Virtual Humans
Este artículo propone una taxonomía para los desajustes verbales-no verbales basada en el marco de Ekman, investiga el uso de modelos de lenguaje de gran tamaño para seleccionar comportamientos incongruentes contextualmente apropiados para humanos virtuales, y valida su eficacia en la producción de los efectos previstos en el observador mediante un estudio con sujetos humanos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En los espacios silenciosos entre las palabras habladas, la comunicación humana suele realizar su trabajo más complejo. Cuando hablamos, no solo transmitimos información; proyectamos nuestros sentimientos, nuestra posición social y nuestras intenciones ocultas a través de nuestros rostros, nuestros ojos y nuestra postura. Estas señales silenciosas, conocidas como comportamientos no verbales, pueden reforzar lo que decimos, pero también pueden contradecirlo. Una persona puede decir "estoy bien" mientras su rostro se tensa por la preocupación, o brindar un cumplido con un tono que sugiere burla. Esta capacidad de dejar que el cuerpo traicione a la boca, o de ocultar los verdaderos sentimientos tras una sonrisa cortés, es una parte fundamental de cómo los humanos navegan las relaciones, gestionan los conflictos y señalan la confianza. Durante décadas, los investigadores han intentado enseñar a las computadoras a imitar esta complejidad, construyendo agentes virtuales que puedan moverse y gesticular como las personas. Sin embargo, la mayoría de estos personajes digitales se han limitado a una regla simple: si las palabras son felices, el rostro debe ser feliz. Les cuesta entender que, a veces, lo más honesto que una persona puede hacer es decir una cosa mientras su cuerpo dice otra.
Un equipo de investigadores de la Universidad de Northeastern se propuso cambiar esta limitación. Querían ver si podían enseñar a un humano virtual a generar estos comportos contradictorios y sutiles de forma automática, utilizando un tipo de inteligencia artificial conocida como modelo de lenguaje extenso. Estos modelos son sistemas potentes entrenados en vastas cantidades de texto, capaces de comprender el contexto y el matiz. Los investigadores plantearon una pregunta específica: si le daban a la computadora una conversación y una descripción de la situación, ¿podría determinar cuándo el hablante debería parecer infeliz mientras dice algo agradable, o parecer amable mientras comunica malas noticias? No querían simplemente que la computadora adivinara; querían ver si la computadora podía tomar estas decisiones de una manera que resultara real para los observadores humanos.
Para probar esto, el equipo primero creó un mapa de las diferentes formas en que las personas desajustan sus palabras y sus acciones. Identificaron cuatro razones principales por las cuales una persona podría hacer esto. A veces es ironía, donde un hablante utiliza el elogio para insultar a alguien o la crítica para mostrar afecto. Otras veces, se trata de salvar la imagen propia (saving face), donde una persona suaviza una crítica dura con una sonrisa cálida para evitar herir los sentimientos, o fuerza una sonrisa cortés para ocultar su propia ira. También hay engaño, donde una persona intenta ocultar una emoción secreta, y regulación emocional, donde alguien intenta suprimir un sentimiento que está brotando de su interior. Utilizando estas categorías, los investigadores diseñaron ocho escenarios específicos, tales como un empleado júnior hablando con un jefe que acaba de aumentar su carga de trabajo, o una madre dándole retroalimentación a su hijo adolescente.
Luego, los investigadores probaron tres formas diferentes de pedirle a la computadora que generara el comportamiento. En el primer método, le dieron a la computadora solo la frase hablada. En el segundo, añadieron el historial de la conversación previa a esa frase. En el tercer método, el más detallado, proporcionaron el historial de la conversación más una descripción escrita de la relación entre los interlocutores y el entorno social. La computadora, impulsada por un modelo llamado Claude, recibió la instrucción de decidir qué debían hacer el rostro y los ojos del personaje por cada frase. Los resultados fueron claros: cuando la computadora recibía solo las palabras, la hacía parecer mayoritariamente feliz cuando las palabras eran felices y triste cuando las palabras eran tristes. Pero cuando los investigadores proporcionaron todo el contexto —la dinámica de poder, el historial y la presión social—, la computadora comenzó a elegir comportos que contradecían las palabras. En el escenario donde un empleado júnior tenía que aceptar más trabajo de un jefe exigente, la computadora seleccionó una sonrisa pequeña y contenida, acompañada de una breve mirada hacia otro lado y un tensado de los labios. Comprendió que el empleado estaba diciendo "sí" mientras sentía "no".
Para ver si estas elecciones generadas por la computadora realmente funcionaban, los investigadores convirtieron las instrucciones digitales en videoclips de un humano virtual y se los mostraron a personas. En el primer estudio, pidieron a los participantes que vieran pares de videos y decidieran qué hablante tenía una actitud más positiva. Cuando el humano virtual decía algo positivo pero lucía negativo, la gente calificaba consistentemente la actitud como menos positiva que cuando el humano lucía feliz. Cuando el humano decía algo negativo pero sonreía cálidamente, la gente calificaba la actitud como más positiva que cuando el humano parecía enojado. El segundo estudio fue más profundo, pidiendo a las personas que calificaran las emociones específicas que veían. Los resultados mostraron que las señales no verbales que la computadora seleccionó fueron lo suficientemente poderosas como para cambiar cómo la gente sentía respecto a las emociones del hablante. Si la computadora elegía un ceño fruncido para acompañar una frase feliz, la gente reportaba sentir que el hablante estaba en realidad enojado o sarcástico. Si la computadora elegía una sonrisa cálida para acompañar una frase triste, la gente reportaba sentir compasión en lugar de ira.
El estudio confirma que proporcionar a una inteligencia artificial el contexto social completo de una conversación le permite generar comportamientos no verbales que son mucho más humanos que aquellos basados solo en las palabras. La computadora no solo repitió la emoción de la frase; interpretó la situación y decidió que un desajuste era la respuesta más honesta. Aunque los investigadores señalaron que su sistema aún necesita trabajo para manejar los gestos y el tono de voz, y que los videos eran cortos, el hallazgo central es significativo. Sugiere que, para que los humanos virtuales sean verdaderamente convincentes, especialmente en roles como entrenadores de terapeutas o negociadores, deben ser capaces de dejar que sus cuerpos cuenten una historia diferente a la de sus bocas. La computadora aprendió que, a veces, la verdad no está en las palabras, sino en el silencio entre ellas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.