CREMD: Crowd-Sourced Emotional Multimodal Dogs Dataset

El artículo presenta CREMD, un conjunto de datos multimodal de perros creado mediante crowdsourcing que analiza cómo el contexto visual, el audio y las características de los anotadores influyen en la percepción y el etiquetado de las emociones caninas, revelando que el contexto visual mejora el acuerdo, los no propietarios y los hombres muestran mayor consenso que sus contrapartes, y el audio aumenta la confianza en la identificación de emociones específicas.

Lo esencial

¡Hola! Imagina que hemos creado un gran laboratorio de detectives caninos, pero en lugar de usar lupas y huellas dactilares, usamos videos de internet y los ojos de personas de todo tipo.

Aquí tienes la historia de este proyecto, llamada CREMD, explicada de forma sencilla:

🐕 La Gran Misión: ¿Qué siente tu perro?

Todos hemos pensado alguna vez: "¿Está mi perro feliz, asustado o enojado?". Entender las emociones de los perros es vital para cuidarlos mejor, pero es muy difícil. ¿Por qué? Porque los perros no hablan y sus caras a veces son confusas. Además, no hay un "manual de instrucciones" oficial que diga qué significa exactamente un movimiento de oreja.

Para solucionar esto, los investigadores crearon una base de datos gigante (llamada CREMD) con 923 videos de perros.

🎥 El Experimento: Tres formas de ver la película

Para entender cómo percibimos las emociones, mostraron estos videos de tres formas diferentes, como si fueran tres versiones de una misma película:

1. La versión "Mudo y Sin Escenario" (NCNA): Solo ves al perro de cerca, sin fondo y sin sonido. Es como mirar una foto borrosa.
2. La versión "Con Escenario pero Mudo" (YCNA): Ves al perro y dónde está (en el parque, en casa), pero no escuchas nada.
3. La versión "Cine Completo" (YCYA): Ves al perro, el escenario y escuchas todo (ladridos, gemidos, risas).

👥 Los Detectives: ¿Quién es mejor leyendo a los perros?

Invitaron a 23 personas a ver estos videos y decir qué sentía el perro. Pero no eran cualquiera; eran un grupo mixto:

• Dueños de perros (los que aman a sus mascotas).
• No dueños (gente que no tiene perro).
• Expertos (adiestradores, veterinarios).
• Hombres y mujeres.

¡Y aquí viene la sorpresa! Esperaban que los dueños y los expertos fueran los mejores detectives. Pero ocurrió algo curioso:

• Los no dueños y los hombres fueron más acordes entre sí. Es decir, si uno decía "está enojado", los demás también.
• Los dueños y las mujeres fueron un poco más diversos en sus opiniones. A veces veían más matices o emociones mezcladas.
• Los expertos (los profesionales) sí fueron los más acordes, tal como esperaban.

La analogía: Imagina que miras una nube.

• Un experto (o un no dueño muy objetivo) dice: "Esa nube es una montaña". Todos están de acuerdo.
• Un dueño (que conoce a su perro) dice: "Esa nube parece mi perro cuando tiene miedo, pero también parece que quiere jugar". Como cada dueño tiene su propia experiencia, ven cosas diferentes y es más difícil que todos digan lo mismo.

🎧 El Sonido: ¿Ayuda o confunde?

• El contexto visual (ver dónde está el perro): ¡Ayuda mucho! Cuando la gente veía el escenario, se ponían más de acuerdo.
• El audio: Aquí hubo un problema técnico. Como la mayoría de los videos de internet tienen música de fondo o ruido, no pudieron probar bien si el sonido ayuda a entender la emoción sin ver el contexto. Sin embargo, cuando sí se escuchaba el sonido (como un gruñido), la gente tenía más seguridad en decir "¡Está enojado!" o "¡Está asustado!".

🧠 ¿Qué aprendimos de todo esto?

1. Ver el escenario ayuda: Saber si el perro está en un parque o en una clínica veterinaria nos ayuda a entender mejor lo que siente.
2. La experiencia cambia la visión: Los dueños de perros a veces proyectan sus propios sentimientos en el animal, lo que hace que sus opiniones sean más variadas (y menos "de acuerdo" entre sí).
3. Los expertos son consistentes: Quienes trabajan con perros tienen un "mapa mental" más claro de sus emociones.
4. Confianza: El sonido hace que la gente se sienta más segura al etiquetar emociones fuertes como el miedo o la ira.

🌟 En resumen

Este estudio es como un mapa del tesoro para la inteligencia artificial y los científicos. Nos dice que para enseñar a las computadoras a entender a los perros, no basta con mostrarles fotos; hay que darles contexto, sonido y, sobre todo, tener en cuenta que diferentes personas "leen" a los perros de formas distintas.

El objetivo final es crear herramientas que ayuden a los veterinarios y a los dueños a entender mejor a sus mejores amigos, asegurando que los perros estén felices y sanos. ¡Y todo gracias a un montón de videos y a gente dispuesta a ponerle atención a las orejas de los perros! 🐾

Resumen técnico

Resumen Técnico: CREMD (Crowd-sourced Emotional Multimodal Dogs Dataset)

1. Planteamiento del Problema

El reconocimiento de emociones en perros es fundamental para mejorar la interacción humano-animal, la atención veterinaria y el desarrollo de sistemas automatizados de monitoreo del bienestar canino. Sin embargo, este campo enfrenta dos desafíos principales:

• Naturaleza subjetiva: La evaluación de las emociones es inherentemente subjetiva y carece de un "verdad fundamental" (ground truth) estandarizado.
• Falta de estudios sistemáticos: Pocos trabajos han explorado cómo diferentes modalidades de presentación (contexto visual, audio) y las características de los anotadores (propiedad de mascotas, género, experiencia profesional) influyen en la percepción y el etiquetado de las emociones caninas.
• Limitaciones de datos existentes: Muchos conjuntos de datos actuales dependen de una sola fuente de anotación o no analizan explícitamente la fiabilidad perceptiva entre diferentes grupos demográficos.

2. Metodología

A. Recopilación y Procesamiento de Datos

• Fuente: Se recopilaron videos de plataformas públicas (YouTube, TikTok, Instagram, Pexels) utilizando una lista de palabras clave específicas para cuatro categorías emocionales principales: Feliz, Enfadado, Temeroso y Neutral.
• Volumen Inicial: Se seleccionaron 440 videos iniciales, que tras limpieza (eliminación de baja calidad, duplicados y fragmentos) resultaron en 402 videos únicos.
• Metadatos: Se creó una base de datos con información detallada de los perros (raza, edad, color, etc.). El conjunto final incluye 351 perros únicos.
• Modos de Presentación: Para estudiar el impacto de los estímulos sensoriales, se generaron tres versiones de cada clip:
  1. NCNA (Sin contexto, Sin audio): Solo el perro recortado (usando YOLOv8m), sin sonido.
  2. YCNA (Con contexto, Sin audio): Video original con contexto visual pero sin audio.
  3. YCYA (Con contexto, Con audio): Video original completo.
  • Nota: No se incluyó una condición de "Sin contexto, Con audio" (NCYA) debido a la falta de videos públicos con audio limpio y vocalizaciones caninas discernibles sin ruido de fondo.
• Dataset Final: 923 clips de video (402 NCNA, 402 YCNA, 119 YCYA) con una duración promedio de 15.8 segundos.

B. Proceso de Anotación

• Herramienta: Se desarrolló una herramienta personalizada (React.js + Firebase) para controlar la calidad y la interfaz, evitando limitaciones de plataformas como Amazon Mechanical Turk.
• Participantes: 23 anotadores voluntarios con diversidad demográfica (13 mujeres, 10 hombres; 16 dueños de perros, 7 no dueños; 8 profesionales, 15 no profesionales).
• Tarea: Los anotadores clasificaron las emociones y calificaron su intensidad (escala 1-5). Se incluyeron videos repetidos (10%) para medir la consistencia interna.
• Volumen de Datos: Se obtuvieron 12,794 anotaciones distintas y 15,195 votos totales.

3. Contribuciones Clave

1. Nuevo Enfoque de Ground Truth: Establecimiento de una verdad fundamental basada en la presentación multimodal y grupos de anotadores diversos, en lugar de una sola fuente.
2. Análisis de Modalidades: Estudio exhaustivo de cómo el contexto visual y las pistas auditivas afectan el acuerdo entre anotadores y su confianza.
3. Análisis Demográfico: Investigación de factores como la propiedad de perros, el género y la experiencia profesional sobre los patrones de acuerdo.
4. Recurso Abierto: Creación del dataset CREMD para facilitar el desarrollo de modelos de aprendizaje automático para el reconocimiento de emociones caninas.

4. Resultados Principales

A. Impacto de las Modalidades

• Contexto Visual: La adición de contexto visual (YCNA) mejoró significativamente el acuerdo entre anotadores en comparación con la ausencia de contexto (NCNA). El acuerdo mediano aumentó de 0.69 (NCNA) a 0.71 (YCNA).
• Audio: Los hallazgos sobre el impacto del audio en el acuerdo fueron inconclusos debido a las limitaciones de diseño (ausencia de condición NCYA y subset pequeño de YCYA). Sin embargo, el audio aumentó significativamente la confianza de los anotadores, especialmente para identificar emociones intensas como ira y miedo.
• Confusión de Etiquetas: Sin audio, "Feliz" se confundía a menudo con "Neutral". Con audio y contexto, la confusión principal fue entre Ira y Miedo (debido a señales compartidas como el gruñido).

B. Factores Demográficos y de Experiencia

• Propiedad de Perros: Contrario a la intuición, los no dueños mostraron un nivel de acuerdo más alto (0.80) que los dueños (0.69). Se sugiere que los dueños pueden proyectar sesgos personales o interpretar matices emocionales más sutiles, aumentando la variabilidad.
• Género: Los anotadores masculinos mostraron mayor acuerdo (0.76) que las femeninas (0.69). Esto podría deberse a que los hombres se basan más en señales emocionales obvias, mientras que las mujeres podrían percibir una gama más amplia de matices, lo que reduce el acuerdo estadístico pero no necesariamente la precisión perceptiva.
• Experiencia Profesional: Los profesionales (entrenadores, paseadores) mostraron consistentemente el mayor nivel de acuerdo (0.76), alineándose con la hipótesis inicial. Su experiencia les permite construir un modelo interno más objetivo de las señales emocionales caninas.

C. Consistencia

• La consistencia interna de los anotadores en videos repetidos fue alta (68% completamente consistente). La inconsistencia disminuyó a medida que se añadieron contexto y audio.

5. Significado e Impacto

• Avance en la Computación Afectiva: El estudio demuestra que el reconocimiento de emociones en animales no es unidimensional; depende críticamente de la modalidad de entrada y del perfil del observador.
• Implicaciones para el ML: Para entrenar modelos robustos, es crucial considerar la diversidad de anotadores. Un modelo entrenado solo con datos de dueños de mascotas podría tener un sesgo diferente al de un modelo entrenado con profesionales o el público general.
• Recomendaciones Futuras: Se sugiere una estrategia de anotación híbrida que combine la sensibilidad emocional de ciertos grupos (como dueños o mujeres) con la objetividad estructurada de los profesionales.
• Ética: El artículo enfatiza la necesidad de transparencia en la composición de los anotadores y advierte sobre los riesgos de usar sistemas de reconocimiento de emociones automatizados sin supervisión ética, especialmente en decisiones legales o de comportamiento.

En conclusión, CREMD proporciona una base sólida para entender la complejidad de la percepción emocional canina, revelando que la "verdad" en el etiquetado de emociones es un constructo influenciado por la información sensorial disponible y la experiencia humana.