Inclusive AI for Group Interactions: Predicting Gaze-Direction Behaviors in People with Intellectual and Developmental Disabilities

Título: IA Inclusiva para Interacciones Grupales: Predicción de Comportamientos de Dirección de la Mirada en Personas con Discapacidad Intelectual y del Desarrollo

1. Problema

Los agentes artificiales diseñados para facilitar interacciones grupales humanas suelen fallar al interactuar con poblaciones no neurotípicas, específicamente personas con Discapacidad Intelectual y del Desarrollo (IDD, por sus siglas en inglés).

• Causa raíz: La mayoría de los modelos de IA actuales (para detección de turnos de habla, dirección de la mirada o atención) se entrenan exclusivamente con datos de poblaciones neurotípicas.
• Consecuencia: Estos modelos no generalizan bien a entornos inclusivos. Las personas con IDD a menudo exhiben patrones de interacción atípicos (menor contacto visual directo, uso de señales no verbales alternativas, ritmos de turno diferentes) y dependen de andamios externos (educadores, dispositivos de comunicación aumentativa) que no están presentes en los datos de entrenamiento convencionales.
• Riesgo: Esto lleva a una pérdida de precisión en la detección y, potencialmente, a la marginación de estilos de interacción que se desvían de la norma neurotípica.

2. Metodología

El estudio adopta un enfoque multimodal y centrado en el ser humano, combinando la creación de datos, análisis comparativo, evaluación de modelos y validación experta.

• Creación del Dataset MIDD:

  • Se introdujo el conjunto de datos MIDD (Multi-party Interaction with Intellectual and Developmental Disabilities).
  • Composición: 13 adultos con IDD (perfiles heterogéneos: síndrome de Down, autismo, etc.) en 6 sesiones de conversación grupal (4-5 personas).
  • Configuración: Grabaciones sincronizadas con 4 cámaras web y un micrófono central, segmentadas en bloques de 10 segundos (2.962 muestras totales).
  • Características: Se extrajeron vectores de mirada, pose de la cabeza y datos de orador activo utilizando OpenFace 2.0. Las etiquetas incluyen la dirección del contacto visual (ninguno, izquierda, frente, derecha) y la identidad del hablante activo.
  • Desafío: El dataset presenta un desequilibrio de clases severo (66.6% "sin contacto visual") y condiciones de grabación variables (iluminación deficiente).

• Análisis Comparativo:

  • Se comparó MIDD con el dataset de referencia MultiMediate (población neurotípica).
  • Se evaluaron métricas de compromiso (contacto visual, duración de habla), dinámicas de interacción (balance de turnos, coeficiente de Gini) y calidad de imagen.

• Evaluación de Modelos:

  • Se probaron tres arquitecturas:
    1. SVC (Support Vector Classifier): Basado en características manuales (OpenFace).
    2. XGBoost: Ensemble de árboles de gradiente.
    3. FSFNet: Modelo de aprendizaje profundo basado en Transformers (ResNet-50 + atención).
  • Estrategias de Entrenamiento: Se evaluó el rendimiento zero-shot (entrenado en neurotípicos, probado en IDD), el fine-tuning (ajuste fino en MIDD) y estrategias de ensamblaje (promedio ponderado y stacking) para combinar modelos visuales y basados en características.
  • Estudio de Ablación: Se analizó el impacto de eliminar características (mirada, pose, señales del hablante) para entender su contribución.

• Validación Cualitativa:

  • Se realizó un grupo de enfoque con 6 terapeutas para interpretar los hallazgos cuantitativos y contextualizar los comportamientos atípicos (ej. movimientos repetitivos, silencios intencionales).

3. Contribuciones Clave

1. Dataset MIDD: Introducción de un corpus anotado y público diseñado específicamente para conversaciones grupales con personas con IDD, capturando la diversidad conductual neurodiversa.
2. Análisis de Diferencias Conductuales: Documentación rigurosa de las diferencias entre poblaciones neurotípicas y con IDD, destacando el desequilibrio de clases, la menor actividad de habla, la desigualdad en la distribución del tiempo de habla y la degradación de la calidad visual.
3. Evaluación de Robustez de Modelos: Benchmarking de modelos clásicos y de vanguardia, demostrando que el ajuste fino (fine-tuning) en datos específicos de IDD mejora el rendimiento, aunque persisten limitaciones significativas.
4. Integración de Expertos: Vinculación de hallazgos cuantitativos con la experiencia clínica de terapeutas, validando que comportamientos como el "stimming" o el silencio no deben interpretarse necesariamente como falta de compromiso.

4. Resultados

• Diferencias en el Dataset:

  • El contacto visual en MIDD es casi la mitad que en MultiMediate (33% vs 65%).
  • La actividad de habla es significativamente menor en MIDD (62% de muestras con hablante activo vs 92% en neurotípicos).
  • Existe una mayor desigualdad en la distribución del tiempo de habla (Gini = 0.52 en MIDD vs 0.34 en MultiMediate).
  • La calidad de la imagen (brillo y contraste) es significativamente peor en MIDD.

• Rendimiento de los Modelos:

  • Transferencia Directa: Los modelos entrenados en datos neurotípicos sufrieron una degradación severa al aplicarse a MIDD.
  • Ajuste Fino (Fine-tuning): El modelo FSFNet ajustado en MIDD logró la mejor precisión de validación (~82%) y un F1 macro de ~0.71, aunque el sobreajuste fue un problema.
  • Modelos Clásicos: SVC y XGBoost tendieron a predecir masivamente la clase mayoritaria ("sin contacto visual"), obteniendo F1 macro bajos (~0.44 y ~0.30 respectivamente).
  • Estrategia de Ensamblaje: La combinación ponderada de FSFNet (visual) + XGBoost (características de mirada/orador) obtuvo el mejor resultado global: 70% de precisión, 0.55 de F1 macro y 0.60 de puntuación compuesta. Esta estrategia equilibró la precisión de la clase mayoritaria con la recuperación de las clases minoritarias.
  • Hallazgo de Ablación: Los modelos que dependían exclusivamente de la "pose" de la cabeza funcionaron bien en validación pero colapsaron en la prueba (sobreajuste a la clase mayoritaria). Las configuraciones que priorizaban la mirada y las señales del hablante generalizaron mejor.

5. Significado e Implicaciones

• Necesidad de Adaptación de Dominio: Los modelos de IA no pueden transferirse directamente de poblaciones neurotípicas a neurodiversas sin estrategias de adaptación. Se requiere un fine-tuning específico y técnicas de balanceo de clases.
• Importancia de la Multimodalidad: El uso exclusivo de la visión (contacto visual) es insuficiente. La integración de características multimodales (mirada, pose, identidad del hablante, contexto) es crucial para capturar la complejidad de las interacciones en IDD.
• Reinterpretación de Señales: Los resultados cuantitativos deben interpretarse con cuidado. Comportamientos que los algoritmos etiquetan como "falta de compromiso" (ej. mirar al suelo, movimientos repetitivos) pueden ser formas válidas de autorregulación o comunicación intencional, según los terapeutas.
• Diseño Inclusivo: El trabajo sienta las bases para herramientas de HCI (Interacción Humano-Computadora) más justas y accesibles, proponiendo estrategias basadas en datos como la fusión de características, la adaptación de dominio y el modelado consciente del contexto guiado por expertos humanos.

En conclusión, este trabajo demuestra que la creación de datos específicos y la adaptación de modelos son pasos esenciales para desarrollar sistemas de IA que realmente apoyen la participación social equitativa de las personas con discapacidades intelectuales y del desarrollo.