🤖 AI

The 2026 ACII Dyadic Conversations (DaiKon) Workshop & Challenge

El Taller y Desafío de Conversaciones Diádicas (DaiKon) de la ACII 2026 presenta un conjunto de datos y una evaluación integral de 945 interacciones diádicas naturalistas y multilingües para avanzar en la modelización del afecto interpersonal y la dinámica social mediante tres subdesafíos centrados en la influencia direccional, el turno de palabra y la predicción de la trayectoria de la complicidad.

Autores originales: Panagiotis Tzirakis, Alice Baird, Jeffrey Brooks, Emilia Parada-Cabaleiro, Lukas Stappen, Sharath Rao, Theo Lebryk, Jakub Piotr Clapa, Jens Madsen

Publicado 2026-05-06

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Panagiotis Tzirakis, Alice Baird, Jeffrey Brooks, Emilia Parada-Cabaleiro, Lukas Stappen, Sharath Rao, Theo Lebryk, Jakub Piotr Clapa, Jens Madsen

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina a dos personas sentadas frente a frente, manteniendo una conversación. No se limitan a turnarse para hablar; están bailando. La broma de una persona hace reír a la otra; la vacilación de una hace que la otra haga una pausa; construyen un sentido de conexión (o "rapport") a medida que pasan los minutos.

Durante mucho tiempo, las computadoras han sido buenas analizando a una sola persona en una habitación, como un cantante solista que alcanza una nota alta. Pero han luchado por entender el dueto: cómo el estado de ánimo de la Persona A cambia el de la Persona B, cómo coordinan su timing y cómo evoluciona su relación.

Este artículo presenta un nuevo "gimnasio" para científicos de la computación llamado el Desafío ACII-DaiKon. Es una competencia diseñada para enseñar a las computadoras a entender estos bailes entre dos personas.

Aquí tienes un desglose de lo que están haciendo, utilizando analogías simples:

1. El Conjunto de Datos: Una Biblioteca Gigante de Conversaciones Reales

Los organizadores construyeron una biblioteca masiva llamada el conjunto de datos Hume-DaiKon.

La Colección: Contiene 945 conversaciones (más de 743 horas de video y audio) entre pares de personas.
La Variedad: No son obras de teatro guionizadas. Son charlas reales y naturales entre extraños que fueron emparejados en línea. Hablan cinco idiomas diferentes (inglés, alemán, español, neerlandés y polaco).
La Configuración: Imagina una videollamada donde se le pide a dos personas que charlen sobre sus fines de semana o vacaciones. El sistema graba a ambas por separado (para que la computadora pueda ver el rostro de la Persona A mientras escucha la voz de la Persona B) y captura todo, desde el tono de voz hasta las expresiones faciales.

2. Los Tres Desafíos (Los "Eventos")

La competencia pide a los participantes que construyan modelos de IA que puedan resolver tres acertijos específicos basados en estas conversaciones:

Acertijo A: El "Eco Emocional" (Influencia)

El Objetivo: Predecir cómo se siente la Persona B ahora mismo, basándose en lo que la Persona A acaba de decir o hacer.
La Metáfora: Imagina que la Persona A es un veleta. Si la Persona A parece enojada, ¿cambia el estado de ánimo de la Persona B para igualarla? La IA tiene que adivinar si la Persona B siente "alegría", "ansiedad" o "aburrimiento" basándose en el comportamiento de la otra persona.
El Truco: No se trata solo de adivinar lo que siente la Persona B en el vacío; se trata de adivinar cómo la Persona A influyó en ese sentimiento.

Acertijo B: El "Pase del Suelo" (Turnos de Habla)

El Objetivo: Predecir dos cosas: Quién hablará a continuación y cuándo comenzará a hablar.
La Metáfora: Piensa en un juego de la patata caliente. La IA tiene que observar a los jugadores y adivinar: "¿Está el hablante actual a punto de soltar la patata (dejar de hablar) o va a agarrarla con fuerza? Y si la sueltan, ¿cuántos segundos tardará la otra persona en atraparla?"
Por qué es difícil: A veces las personas hablan al mismo tiempo (superposición), a veces interrumpen y a veces hay un largo silencio. La IA tiene que detectar las señales sutiles (como una respiración profunda o una mirada) que indican un cambio.

Acertijo C: El "Termómetro de la Relación" (Rapport)

El Objetivo: Rastrear cómo cambia la "conexión" entre las dos personas desde el inicio del chat hasta el final.
La Metáfora: Imagina un termómetro que mide qué tan bien se llevan dos personas. ¿Sube la temperatura (se están vinculando) o baja (están incómodos o discutiendo) a medida que avanza la conversación?
El Desafío: La IA tiene que observar toda la conversación, no solo una frase, para ver si la relación se está calentando o enfriando.

3. Las Herramientas: Qué Están Usando las Computadoras

Para resolver estos acertijos, los investigadores proporcionaron a los participantes un conjunto de "ojos" y "oídos":

Los Oídos (Audio): La computadora escucha la voz utilizando una herramienta llamada Whisper. Convierte el habla en una lista de números que capturan el tono, la velocidad y la emoción de la voz.
Los Ojos (Video): La computadora observa los rostros utilizando una herramienta llamada FaceNet. Convierte las expresiones faciales en números que capturan sonrisas, ceñimientos de cejas y movimientos de cabeza.
El Resultado: La computadora recibe un flujo de números para ambas personas, lado a lado, tratando de encontrar patrones.

4. Lo Que Han Encontrado Hasta Ahora (Los Resultados de Línea Base)

Los organizadores ejecutaron algunos modelos de IA "iniciales" simples para ver qué tan difíciles son los acertijos. Esto es lo que descubrieron:

La Voz es el Rey: Para los tres acertijos, la computadora funcionó mucho mejor cuando solo escuchaba las voces que cuando solo observaba los rostros.
- Analogía: Es como intentar entender una canción mirando los labios del cantante versus escuchar la música. La música (voz) contó la historia mucho mejor que lo visual (rostro) en estas pruebas específicas.
Combinarlos No Ayudó (Aún): Cuando intentaron combinar los ojos y los oídos, los modelos simples no mejoraron mucho. De hecho, para el acertijo de "Rapport", agregar el video hizo que la puntuación fuera ligeramente peor.
- ¿Por qué? Es como intentar resolver un acertijo mientras llevas gafas empañadas. Los modelos simples se confundieron con los datos visuales adicionales. El artículo sugiere que necesitamos formas más inteligentes de combinar los dos sentidos en el futuro.
La Puntuación: Los mejores modelos simples obtuvieron una precisión de aproximadamente 40% a 70% dependiendo de la tarea. Esto significa que las computadoras están empezando a captar la "esencia" de la conversación, pero aún están muy lejos de entender el baile profundo y complejo de la interacción humana.

Resumen

Este artículo es una invitación a los científicos de la computación más inteligentes del mundo para dejar de mirar a las personas de forma aislada y comenzar a verlas como pares.

Han proporcionado las materias primas (la biblioteca de video), las reglas (los tres acertijos) y un punto de partida (los modelos simples). El objetivo es construir una IA que no solo escuche palabras, sino que entienda el ritmo, la influencia y la conexión entre dos personas que hablan entre sí.

Resumen Técnico: El Taller y Reto de Conversaciones Diádicas DaiKon de ACII 2026

Declaración del Problema

Las evaluaciones actuales en computación afectiva e IA conversacional se centran predominantemente en la predicción centrada en el hablante o en resúmenes estáticos, sin lograr capturar la naturaleza acoplada y evolutiva en el tiempo de las interacciones diádicas (de dos personas). Los marcos existentes a menudo subrepresentan dinámicas interpersonales críticas, incluyendo la influencia direccional (cómo un hablante afecta a otro), la coordinación temporal conversacional (toma de turnos) y el desarrollo de la complicidad a lo largo del tiempo. El Taller y Reto DaiKon de ACII 2026 aborda esta brecha estableciendo una evaluación unificada para modelar estos procesos relacionales dentro de un entorno naturalista y multimodal.

Metodología y Conjunto de Datos

El Corpus Hume-DaiKon

El reto se basa en el conjunto de datos Hume-DaiKon, una colección de 945 conversaciones diádicas naturalistas que suman un total de 743.4 horas de datos audiovisuales.

Recopilación: Los datos se recopilaron mediante una plataforma de doble canal que conectaba a participantes de regiones geográficas similares. Las conversaciones eran abiertas, guiadas por consignas (por ejemplo, "¿A dónde fuiste en tus últimas vacaciones?") para elicitar comportamientos expresivos.
Composición Multilingüe: El conjunto de datos incluye sesiones en cinco idiomas: inglés, alemán, español, neerlandés y polaco.
Divisiones: Los datos se dividen en 661 sesiones de entrenamiento, 142 de validación y 142 de prueba. El conjunto de prueba se mantiene oculto y ciego para la evaluación oficial.
Modalidad y Características:
- Audio: Procesado utilizando un codificador Whisper-small para generar incrustaciones a nivel de frame de 768 dimensiones a ~3 FPS.
- Video: Procesado utilizando FaceNet para generar incrustaciones de 512 dimensiones a partir de imágenes faciales a 3 FPS, reteniendo únicamente los frames con una confianza de detección $\ge$ 0.9.
- Formato: Las características se publican en formato Parquet para facilitar una carga eficiente sin necesidad de decodificar los medios crudos.

Estrategias de Generación de Etiquetas

El reto emplea tres enfoques de etiquetado distintos que corresponden a sus sub-retos:

Etiquetas de Influencia: Derivadas de un modelo interno de expresión del habla que puntúa la intensidad emocional para ambos hablantes por enunciado. El vocabulario objetivo incluye 10 dimensiones (ira, ansiedad, incertidumbre, confusión, duda, aburrimiento, sorpresa, curiosidad, alegría, diversión) seleccionadas para cubrir el espacio de valencia–activación.
Etiquetas de Toma de Turnos: Generadas mediante Detección de Actividad Vocal (VAD) por hablante. Los eventos se anotan como cambio (transferencia limpia), solapamiento o interrupción, capturando al siguiente hablante, el tiempo de inicio y el tipo de transición.
Pseudo-etiquetas de Complicidad: Debido al alto costo de la anotación humana para calificaciones continuas de complicidad, se utilizó un Modelo de Lenguaje Grande (Qwen2.5-72B-Instruct) para generar pseudo-etiquetas. El modelo puntuó la complicidad en una escala [0, 1] para ventanas de 30 segundos basándose en transcripciones, etiquetas acústicas y contexto previo. Estas puntuaciones se suavizaron utilizando un kernel gaussiano para crear trayectorias realistas.

Tareas de la Competencia

El reto se divide en tres sub-retos coordinados:

DaiKon Influencia: Predecir la intensidad continua de 10 dimensiones emocionales para un hablante objetivo basándose en el contexto diádico.
- Métricas: Coeficiente de Correlación de Concordancia (CCC) y correlación de Pearson.
DaiKon Toma de Turnos: Una tarea dual que predice (a) al siguiente hablante (clasificación) y (b) el tiempo hasta el inicio del siguiente habla (regresión).
- Métricas: Macro-F1/Exactitud para clasificación; Error Absoluto Medio (MAE) para regresión.
DaiKon Complicidad: Predecir la trayectoria de la calidad de la complicidad a lo largo de una conversación.
- Métricas: CCC y correlación de Pearson.

Experimentos de Línea Base y Resultados

Los organizadores publicaron sistemas de línea base utilizando una arquitectura compartida de MLP de dos capas con cabezas específicas para cada tarea, entrenados sobre los conjuntos de características estandarizados.

Hallazgos Clave:

Dominio del Audio: En las tres tareas, los modelos solo de audio superaron significativamente a los modelos solo de video.
- Influencia: El audio logró 0.40 CCC frente a 0.19 CCC para el video.
- Toma de Turnos: El audio logró 0.66 Macro-F1 frente a 0.51 para el video.
- Complicidad: El audio logró 0.68 CCC frente a 0.26 CCC para el video.
Limitaciones de la Fusión Multimodal: A nivel de línea base, la concatenación simple de características de audio y video agrupadas no mejoró consistentemente el rendimiento sobre las líneas base solo de audio. En la tarea de Complicidad, la línea base multimodal (0.59 CCC) tuvo un rendimiento inferior a la línea base solo de audio (0.68 CCC), lo que sugiere que una fusión ingenua puede introducir ruido sin un modelado temporal sofisticado.
Puntos de Referencia de Rendimiento:
- Influencia: Los mejores resultados de prueba alcanzaron 0.40 CCC y 0.50 Pearson.
- Toma de Turnos: Los mejores resultados de prueba alcanzaron 0.66 Macro-F1 y 1.50s MAE.
- Complicidad: Los mejores resultados de prueba alcanzaron 0.68 CCC y 0.70 Pearson.

Significado y Afirmaciones

El artículo posiciona el Taller y Reto ACII-DaiKon como un paso fundamental hacia el avance de la computación afectiva más allá del análisis aislado del hablante. Sus contribuciones principales son:

Una Evaluación Unificada: Proporciona el primer conjunto de datos compartido y marco de evaluación diseñados específicamente para estudiar la influencia direccional, la coordinación de la toma de turnos y el desarrollo de la complicidad simultáneamente.
Rigor Metodológico: Al utilizar divisiones fijas, métricas estandarizadas y líneas base publicadas, el reto permite una comparación reproducible entre diferentes enfoques arquitectónicos.
Identificación de Brechas de Investigación: Los resultados de la línea base destacan explícitamente que, aunque los métodos actuales capturan patrones diádicos generales, el modelado robusto de la dependencia direccional y las dinámicas interpersonales a largo plazo sigue siendo un desafío significativo. El artículo afirma que el progreso futuro requiere arquitecturas capaces de representar la dependencia temporal, el acoplamiento entre hablantes y estrategias de fusión multimodal más sofisticadas.

El taller tiene como objetivo fomentar el debate interdisciplinario entre investigadores en computación afectiva, aprendizaje automático, ciencia de las emociones y psicología cultural para avanzar en el estado del arte de la IA conversacional socialmente consciente.