Resumen Técnico: PlayClass – Clasificación Automatizada del Comportamiento de Juego en Aves de Corral

Enunciado del Problema

El monitoreo automatizado del bienestar animal se ha centrado históricamente en indicadores negativos (por ejemplo, enfermedades, dolor), dejando comportamientos de bienestar positivo como el juego significativamente poco explorados. Aunque la visión por computadora ha avanzado en la estimación de la postura animal y el seguimiento, aplicar estas tecnologías a las aves de corral presenta desafíos únicos: grupos densos de individuos visualmente similares provocan oclusiones frecuentes y confusión de identidad. Además, el comportamiento de juego es inherentemente difícil de clasificar automáticamente debido a la escasez de datos, la ambigüedad definicional (el juego a menudo comparte patrones motores con comportamientos no lúdicos) y las transiciones de estado rápidas. El trabajo existente no ha abordado la clasificación automatizada del comportamiento de juego en aves de corral a nivel individual.

Metodología

Los autores presentan PlayClass, un pipeline diseñado para clasificar comportamientos de juego a nivel individual a partir de videos de corrales de aves de corral con vista cenital. El sistema integra tres componentes principales:

1. Estrategia de Seguimiento (SAM 3 con Fragmentación Adaptativa)

Para manejar grabaciones de 15 minutos donde el seguimiento de extremo a extremo está limitado por la memoria de la GPU y la acumulación de errores:

• Fragmentación: Los videos se procesan en fragmentos de 60 segundos.
• Inicialización: El seguimiento se inicializa con un indicador de texto ("ave") o una estrategia de anclaje adaptativa (ejecutando SAM 3 durante los primeros 5 segundos para encontrar un cuadro de alta confianza y bien separado).
• Mantenimiento de la Identidad: Para minimizar los cambios de identidad entre fragmentos, el sistema utiliza una selección de límites de fragmento guiada por YOLO. Un detector YOLO y un rastreador BoT-SORT identifican cuadros con la máxima separación inter-ave para servir como límites de fragmento, facilitando una transferencia robusta de identidad.
• Salida: El pipeline genera más de 1,8 millones de máscaras rastreadas con cajas delimitadoras en 30 videos (45 individuos).

2. Extracción de Características

El sistema extrae dos flujos de características complementarias por ventana de observación:

• Características de Movimiento Hechas a Mano: 19 características por cuadro derivadas de máscaras rastreadas, que capturan la forma espacial (área, solidez), la dinámica temporal (velocidad, aceleración) y el contexto social (distancias a otros). Estas se resumen en un vector de 171 dimensiones utilizando momentos estadísticos y percentiles.
• Incrustaciones de Modelos Fundacionales: El pipeline evalúa incrustaciones congeladas de modelos fundacionales de imágenes y video:
  • Modelos de Imagen: DINOv3 (extrayendo incrustaciones de tokens CLS de recortes de cajas delimitadoras).
  • Modelos de Video: V-JEPA 2, V-JEPA 2.1 y VideoPrism (procesando clips no superpuestos y aplicando un promedio espacial).

3. Arquitectura de Clasificación

La tarea es un problema de clasificación de 3 clases: Juego Locomotor, Juego con Objetos y Otro (no juego).

• Desequilibrio de Clases: El conjunto de datos está severamente desequilibrado (86,7% Otro, 9,3% Juego con Objetos, 4,0% Juego Locomotor).
• Modelos: Se probaron dos arquitecturas: un Perceptrón Multicapa (MLP) sobre características promediadas y una CNN 1D para preservar las señales temporales.
• Validación: Se empleó una estrategia de validación cruzada Leave-One-Cage-Out (LOCO) para prevenir la filtración ambiental, asegurando que el modelo generalice a través de diferentes jaulas físicas.

Resultados Clave

El estudio se evaluó en un conjunto de datos de 30 grabaciones que cubren 45 polluelos de Gallina Roja de la Selva × Leghorn Blanca, anotados en 14.515 ventanas.

• Rendimiento de Línea Base: Las características de movimiento hechas a mano por sí solas, procesadas mediante un MLP simple, lograron una puntuación F1 promediada macro de 73,4, estableciendo una línea base sólida sin representaciones visuales aprendidas.
• Rendimiento de Modelos Fundacionales: Entre los backbones congelados, V-JEPA 2.1 superó consistentemente a todos los demás modelos (DINOv3, VideoPrism, V-JEPA 2) en ambas escalas ViT-B y ViT-L.
• Mejor Rendimiento: El enfoque híbrido que combina características hechas a mano con incrustaciones de V-JEPA 2.1 (ViT-L) produjo el rendimiento más alto: 77,0 de puntuación F1 promediada macro.
• Escalado: Aumentar el tamaño del modelo (por ejemplo, de DINOv3 a ViT-H) produjo ganancias mínimas, lo que sugiere que las representaciones se saturan temprano para este dominio específico.
• Análisis de Errores:
  • El modelo tuvo más dificultades con el Juego con Objetos (66,1% de recuperación), a menudo clasificándolo incorrectamente como "Otro".
  • Los errores fueron impulsados por la ambigüedad cinemática (por ejemplo, "picotear gusanos" comparte perfiles de movimiento con comportamientos no lúdicos) y la oclusión.
  • Divertirse (un subtipo locomotor) formó un clúster distinto con alta recuperación (88%), probablemente debido a su firma única de movimiento multidireccional.
  • La aglomeración impactó significativamente la precisión del juego con objetos ($\rho$ de Spearman = 0,17).

Significado y Afirmaciones

El artículo afirma proporcionar el primer marco automatizado para la clasificación de comportamientos de juego a nivel individual en aves de corral. Sus contribuciones principales son:

1. Un Pipeline de Seguimiento Robusto: Extender SAM 3 a grabaciones de larga duración mediante fragmentación guiada por YOLO y anclaje adaptativo, manteniendo la identidad a través de oclusiones frecuentes.
2. Evaluación Comparativa de Modelos Fundacionales: Establecer a V-JEPA 2.1 como el backbone superior para la clasificación de comportamientos animales, superando a los modelos basados en imágenes y otros modelos de video.
3. Perspectiva sobre el Reconocimiento del Juego: Demostrar que, si bien las representaciones de video congeladas proporcionan una señal complementaria, las características cinemáticas y de forma hechas a mano por sí solas constituyen una línea base fuerte e interpretable (73,4 F1). Esto sugiere que gran parte de la señal relevante para la tarea en el juego de las aves de corral se captura mediante estadísticas de movimiento y proximidad.

Los autores concluyen que, si bien el pipeline muestra evidencia alentadora para la detección automatizada del juego, persisten desafíos relacionados con la oclusión y la ambigüedad definicional de los subtipos de juego. Señalan que la dependencia actual del procesamiento manual posterior para la corrección de identidad limita el despliegue totalmente autónomo, sugiriendo que el trabajo futuro debe centrarse en el preentrenamiento adaptativo al dominio y una mejora en la coincidencia de identidad entre fragmentos.