Animal behavioral analysis and neural encoding with transformer-based self-supervised pretraining

El artículo presenta BEAST, un marco escalable basado en transformers que utiliza aprendizaje auto-supervisado para analizar el comportamiento animal y la codificación neural sin depender de grandes cantidades de datos etiquetados, mejorando tareas como la estimación de postura y la segmentación de acciones en diversos contextos neuroconductuales.

Lo esencial

¡Claro que sí! Imagina que el cerebro es como un orquesta gigante y la conducta del animal (cómo se mueve, se rasca o salta) es la música que toca. El gran reto de los neurocientíficos es entender cómo la partitura (el cerebro) crea la música (el comportamiento).

Hasta ahora, para entender esta música, los científicos tenían que "transcribirla" a mano, anotando cada nota con un lápiz y papel. Esto era lento, aburrido y requería muchísimo trabajo.

Aquí es donde entra BEAST (un nombre divertido que significa Análisis de Conducta mediante Pre-entrenamiento de Transformadores Auto-supervisados).

¿Qué es BEAST? La analogía del "Chef que aprende a cocinar"

Imagina que quieres aprender a cocinar el mejor plato del mundo, pero no tienes recetas escritas (etiquetas) y no tienes ingredientes pre-cortados. Solo tienes miles de horas de video de gente cocinando en tu cocina.

1. El problema de los métodos antiguos: Antes, los científicos usaban modelos que necesitaban que alguien les dijera exactamente: "Mira, en este segundo el ratón está levantando la pata izquierda". Era como si un chef te obligara a decirle exactamente qué sal poner en cada segundo antes de que pudiera cocinar. Si no tenías esa etiqueta, el chef no sabía qué hacer.
2. La solución BEAST: BEAST es como un chef genio que decide aprender viendo miles de horas de video de ratones moviéndose, sin que nadie le diga qué están haciendo.
   • El truco (Aprendizaje Auto-supervisado): BEAST mira un video, tapa una parte de la imagen (como si le pusiera un parche de ojos al ratón) y trata de adivinar qué hay debajo basándose en lo que ve alrededor. Luego, mira el ratón en el segundo siguiente y trata de entender cómo se mueve.
   • Al hacer esto millones de veces, BEAST aprende a "sentir" el movimiento, la textura del pelaje y la intención del animal, sin necesidad de que un humano le diga "esto es un rasguño".

¿Qué logra BEAST? Tres superpoderes

Una vez que BEAST ha "comido" todo ese video y se ha vuelto un experto, puede ayudar a los científicos en tres tareas clave:

1. Leer la mente del ratón (Codificación Neural)

Imagina que tienes un micrófono dentro del cerebro del ratón. BEAST puede ver el video del ratón moviéndose y decirte: "¡Oye! En este momento, las neuronas de esa zona del cerebro están disparando como locas porque el ratón está pensando en girar la rueda".

• La ventaja: Antes, tenían que medir el movimiento de las patas con mucha precisión (como medir la velocidad de un coche con un radar). BEAST puede ver el video completo y predecir la actividad cerebral con mucha más precisión, incluso si el ratón está moviendo cosas que no se ven bien (como bigotes o orejas).

2. El dibujante automático (Estimación de la Pose)

Imagina que quieres ponerle un traje digital a un ratón para ver cómo camina. Antes, tenías que pintar punto por punto las articulaciones del ratón en miles de fotos.

• La ventaja: BEAST ya ha visto tantos ratones moviéndose que, si le das solo unas pocas fotos para "calibrar", puede dibujar el esqueleto del ratón en cualquier video nuevo casi perfecto. Es como si el chef, después de ver cocinar a miles de personas, pudiera predecir exactamente dónde pondrá el cuchillo el siguiente chef sin necesidad de que le enseñen.

3. El editor de cine (Segmentación de Acciones)

Imagina un video de dos ratones peleando, jugando o limpiándose. Un editor humano tardaría días en decir: "Aquí empieza el ataque, aquí termina el juego".

• La ventaja: BEAST puede ver el video y decirte: "En este segundo están atacando, en el siguiente están investigando". Lo hace tan bien que supera a los mejores editores humanos, y lo mejor: no necesita que le enseñes qué es un ataque, porque ya aprendió la diferencia viendo miles de videos.

¿Por qué es un cambio tan grande?

Piensa en BEAST como un traductor universal que ha aprendido el "idioma del movimiento" de los animales.

• Ahorro de tiempo: Antes, un laboratorio podía tardar meses en etiquetar videos. Con BEAST, usan videos sin etiquetar (que tienen en abundancia) para entrenar al modelo, y luego solo necesitan un poco de ayuda humana para tareas específicas.
• Precisión: Al no depender de que un humano marque cada punto, BEAST ve detalles que los humanos se pierden (como el movimiento sutil de un bigote o un cambio de expresión facial).
• Accesibilidad: Ahora, cualquier laboratorio, incluso uno pequeño sin muchos recursos, puede tener un "experto en comportamiento" en su computadora que trabaja 24/7.

En resumen

BEAST es como darle a los científicos un superpoder de visión. En lugar de tener que describir manualmente cada movimiento de un animal para entender su cerebro, BEAST aprende a ver y entender el comportamiento por sí mismo, como un niño que aprende a caminar viendo a otros, para luego ayudar a descifrar los secretos más profundos de cómo funciona el cerebro.

Es una herramienta que convierte horas de video "aburrido" en conocimiento científico valioso, acelerando la cura de enfermedades y nuestra comprensión de la vida.

Resumen técnico

Título: Análisis del Comportamiento Animal y Codificación Neural con Preentrenamiento Auto-supervisado Basado en Transformers

1. El Problema

La comprensión de la relación entre el cerebro y el comportamiento es fundamental en neurociencia, pero presenta desafíos técnicos significativos. Aunque muchas estudios capturan el comportamiento mediante cámaras, el análisis de video existente depende de modelos especializados que requieren grandes cantidades de datos etiquetados manualmente.

• Limitaciones actuales: Los enfoques tradicionales (como DeepLabCut o SLEAP) necesitan miles de puntos clave (keypoints) anotados para tareas como estimación de pose o segmentación de acciones.
• Pérdida de información: Muchos métodos reducen el video a puntos clave o componentes principales (PCA), perdiendo matices comportamentales sutiles que no están capturados por la anatomía visible o que están ocultos por el pelaje.
• Datos subutilizados: Los experimentos de comportamiento generan enormes volúmenes de datos de video sin etiquetar que actualmente no se aprovechan para mejorar los modelos.

2. Metodología: BEAST

Los autores proponen BEAST (BEhavioral Analysis via Self-supervised pretraining of Transformers), un marco escalable que preentrena transformadores de visión específicos para experimentos utilizando datos no etiquetados.

Arquitectura y Estrategia de Entrenamiento:
BEAST combina dos objetivos de aprendizaje auto-supervisado en un solo modelo backbone (base):

1. Auto-codificación enmascarada (MAE): Basada en Masked Autoencoders (He et al., 2022). El modelo oculta aleatoriamente un alto porcentaje de parches (75%) de un fotograma y aprende a reconstruirlos. Esto captura detalles de apariencia a nivel de fotograma (bajo nivel).
2. Aprendizaje contrastivo temporal: Basado en Temporal Contrastive Learning. El modelo aprende a distinguir entre fotogramas cercanos en el tiempo (positivos) y fotogramas distantes o de otros videos (negativos).
   • Innovación clave en muestreo: A diferencia de métodos anteriores (como VIC-MAE) que permiten cualquier par de fotogramas del mismo video como positivos, BEAST define pares positivos dentro de una ventana temporal estrecha (±1 fotograma) alrededor de un fotograma ancla. Esto es crucial porque los videos de comportamiento animal son largos y contienen comportamientos repetitivos; esta estrategia fuerza al modelo a aprender la dinámica específica del movimiento contra fondos estáticos.

Proceso:

• Se utiliza una arquitectura Vision Transformer (ViT-B/16).
• Se inicializa con pesos preentrenados en ImageNet.
• Se preentrena en los videos no etiquetados del laboratorio específico (77 sesiones de IBL, por ejemplo).
• El modelo final se puede ajustar (fine-tune) para múltiples tareas downstream.

3. Contribuciones Clave

1. Marco Unificado: BEAST elimina la necesidad de pipelines separados para diferentes tareas, ofreciendo un único modelo base versátil.
2. Reducción de Etiquetado: Permite realizar tareas complejas (como estimación de pose) con muy pocos datos etiquetados (ej. 100 fotogramas), aprovechando el preentrenamiento en datos no etiquetados.
3. Superioridad en Representaciones: Demuestra que las representaciones aprendidas directamente del video crudo (sin pasar por estimación de pose previa) contienen más información relevante para la codificación neural que los puntos clave tradicionales.
4. Eficiencia Computacional: A diferencia de los modelos de video nativos (como VideoMAE) que requieren procesar secuencias temporales completas, BEAST procesa fotogramas individuales, reduciendo drásticamente el costo de cómputo y memoria.

4. Resultados

El modelo fue evaluado en tres tareas críticas a través de múltiples especies (ratones, peces eléctricos) y configuraciones (fijos, libres, individuales, sociales):

• A. Codificación Neural (Predicción de actividad cerebral):

  • Tarea: Predecir la actividad neuronal (picos o componentes principales) a partir del video.
  • Resultado: BEAST superó consistentemente a todos los baselines (puntos clave, PCA, CEBRA, DINOv2, VideoMAE).
  • Hallazgo: Incluso sin fine-tuning específico (zero-shot), un modelo preentrenado solo con MAE en el dominio específico superó a modelos generales. La combinación MAE + Contrastivo (BEAST) logró el mejor rendimiento, explicando más varianza en la actividad neural.

• B. Estimación de Pose:

  • Tarea: Localizar puntos clave anatómicos.
  • Resultado: BEAST superó a ResNet-50 preentrenado en AP-10K y a modelos basados en DINOv2 en la mayoría de los conjuntos de datos.
  • Eficiencia: Con solo 100 fotogramas etiquetados, BEAST logró una precisión superior a la de modelos entrenados con miles de etiquetas, demostrando que el preentrenamiento específico del dominio es crucial para la localización precisa.

• C. Segmentación de Acciones:

  • Tarea: Clasificar comportamientos discretos (ej. aseo, ataque, investigación) en cada fotograma.
  • Resultado: BEAST superó a sistemas especializados como SimBA y TREBA. En el conjunto de datos CalMS21, alcanzó un puntaje F1 de 0.84, ubicándose en el top 15 del desafío de comportamiento multi-agente de AIcrowd.
  • Ventaja: Elimina la necesidad de un paso previo de estimación de pose, reduciendo el tiempo de desarrollo de meses a horas.

5. Significado e Impacto

• Democratización de la Neurociencia: BEAST permite a laboratorios con recursos limitados desarrollar modelos de análisis de comportamiento de alta calidad sin necesidad de grandes equipos de anotación manual o supercomputación masiva.
• Cambio de Paradigma: Sugiere que para muchas tareas de neurociencia, es más efectivo aprender representaciones directamente del video crudo mediante auto-supervisión que depender de la extracción manual de puntos clave.
• Escalabilidad: El marco es adaptable a cualquier especie o configuración experimental, siempre que se disponga de videos no etiquetados para el preentrenamiento.
• Futuro: Abre la puerta a la creación de "modelos fundacionales" de comportamiento animal que puedan ser ajustados por cualquier laboratorio, acelerando el descubrimiento de cómo el cerebro genera el comportamiento.

En resumen, BEAST establece un nuevo estándar en el análisis de comportamiento animal, demostrando que el aprendizaje auto-supervisado específico del dominio es una herramienta poderosa para desbloquear la información oculta en los videos de neurociencia, superando a los métodos tradicionales en precisión y eficiencia de datos.