🧬 biología

B-REAL: A keypoint-less behavior platform for offline classification and real-time detection

B-REAL es una plataforma de clasificación de comportamiento en tiempo real y libre de poses que permite experimentos de neuroetología de bucle cerrado con una anotación mínima y hardware estándar al mapear video bruto a comportamiento más rápido que las tasas de fotogramas, superando los métodos establecidos incluso en comportamientos poco comunes.

Autores originales: Eric Yttri, Aden Eagle, Brayden Kohler, Victor Kamrowski, Nia Lingam, Runcheng Li

Publicado 2026-10-26

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Eric Yttri, Aden Eagle, Brayden Kohler, Victor Kamrowski, Nia Lingam, Runcheng Li

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ⚕️ Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo

Para entender cómo funciona el cerebro, los científicos deben primero comprender qué está haciendo realmente el animal que este controla. Durante décadas, el estándar de oro para medir el comportamiento animal fue un observador humano viendo grabaciones de video, pausando y retrocediendo para anotar cada movimiento, desde un ratón olfateando una esquina hasta una mosca atacando a otra. Este método es flexible e interpretable, pero es increíblemente lento y propenso al error humano. En años recientes, las computadoras han comenzado a tomar el relevo en esta tarea, pero la mayoría se ha basado en un proceso de dos pasos que crea sus propios cuellos de botella. Primero, un programa de computadora debe ser entrenado para encontrar puntos específicos en el cuerpo de un animal, como la punta de una nariz o una articulación en una pata, un proceso que requiere miles de horas de etiquetado humano. Segundo, la computadora utiliza esos puntos para adivinar qué comportamiento está ocurriendo. Este enfoque es lento de configurar, a menudo falla cuando los animales se bloquean la vista entre sí y suele ser demasiado lento para reaccionar en el momento. Si un investigador quiere darle una recompensa a un ratón en el instante en que se acicala, o detener un experimento en el momento en que ocurre un movimiento específico, la computadora debe ser lo suficientemente rápida para ver la acción y decidir qué hacer antes de que el video termine de grabarse.

Un equipo de investigadores de la Universidad Carnegie Mellon ha desarrollado un nuevo sistema llamado B-REAL que elimina por completo al intermediario. En lugar de intentar mapear el esqueleto de un animal, este sistema observa directamente los píxeles brutos del video y aprende a reconocer el comportamiento instantáneamente. El resultado es una herramienta que puede clasificar lo que un animal está haciendo más rápido de lo que la cámara puede tomar la siguiente imagen, incluso en hardware de computadora estándar. Esta velocidad permite un nuevo tipo de experimento donde el comportamiento del animal puede activar cambios inmediatos en su entorno, como la entrega de una gota de agua o un destello de luz, mientras el comportamiento aún está ocurciendo. Los investigadores demostraron que este método funciona con mucha menos información de entrenamiento que los sistemas anteriores, puede detectar movimientos fugaces que duran solo una fracción de segundo y puede usarse para moldear las acciones naturales de un animal en tiempo real.

El núcleo de este nuevo enfoque es un cambio en la forma en que la computadora procesa el video. Los métodos tradicionales tratan un video como una serie de imágenes estáticas, primero encontrando las partes del cuerpo y luego calculando cómo se mueven esas partes. B-REAL se salta el paso de encontrar las partes del cuerpo. Toma una secuencia corta de fotogramas de video y los introduce directamente en una red neuronal, un tipo de programa de computadora diseñado para reconocer patrones. Para entender el movimiento sin rastrear puntos específicos, el sistema utiliza una técnica que intercambia pequeñas piezas de información entre fotogramas vecinos. Imagine una pila de fotos donde algunos píxeles de la foto de arriba se intercambian con la foto de abajo; esto permite que la computadora vea cómo cambian las cosas a lo largo del tiempo sin necesidad de saber exactamente dónde está una pata o un ala. Debido a que este método no requiere que la computadora aprenda un mapa complejo del cuerpo de un animal, evita los fallos comunes de los sistemas anteriores, como perder el rastro de un animal cuando está parcialmente oculto o cuando la iluminación cambia.

Los investigadores probaron este sistema en dos desafíos muy diferentes: interacciones sociales complejas entre ratones y ataques extremadamente rápidos y raros entre moscas de la fruta. En los experimentos con ratones, el sistema aprendió a distinguir entre atacar, investigar y montar con alta precisión tras ver solo un minuto de video etiquetado. Esta es una mejora significativa respecto a las herramientas existentes, que a menudo requieren horas de datos etiquetados para alcanzar un rendimiento similar. Cuando el equipo probó el sistema con moscas de la fruta, el desafío fue aún mayor. Algunos comportamientos agresivos, como una mosca cargando contra otra, duran solo un único fotograma de video, que es aproximadamente 33 milisegundos. La mayoría de los sistemas informáticos pasan esto por alto por completo porque promedian el movimiento durante periodos más largos. B-REAL, sin embargo, detectó estas cargas de milésimas de segundo con alta precisión, superando a otros métodos incluso cuando se le proporcionaron muy pocos datos de entrenamiento. El sistema pudo identificar estos eventos raros porque aprendió directamente de los patrones visuales del video en lugar de depender de un conjunto predefinido de puntos de referencia corporales que podrían no capturar cambios tan rápidos y sutiles.

Quizás la demostración más convincente del poder del sistema fue un experimento de bucle cerrado donde la computadora actuó como un maestro. Los investigadores configuraron una situación en la que los ratones recibían una recompensa de agua endulzada solo cuando la computadora detectaba que se estaban acicalando la cabeza. El sistema tenía que identificar el comportamiento de acicalamiento y activar el dispensador de agua en una fracción de segundo. Debido a que la detección fue tan rápida y precisa, los ratones aprendieron rápidamente la conexión. A lo largo del experimento, la tasa de acicalamiento de los ratones aumentó un 129 por ciento. Los animales no solo se acicalaron con más frecuencia, sino que también ajustaron la duración de su acicalamiento para cumplir con los requisitos de la computadora, desplazándose hacia episodios ligeramente más largos para asegurar que activaban la recompensa. Esto demuestra que el sistema no es solo un observador pasivo, sino un socio capaz de moldear el comportamiento natural, capaz de reforzar acciones específicas mientras ocurren.

Para hacer el sistema aún más eficiente, los investigadores exploraron una forma de darle a la computadora una ventaja inicial sin necesidad de más datos etiquetados. Utilizaron un modelo de video grande y preentrenado que había aprendido conceptos generales de movimiento a partir de miles de horas de video no etiquetado. Transfirieron lo que este modelo grande sabía al sistema más pequeño y rápido. Este proceso, conocido como destilación, permitió que el sistema aprendiera en solo 30 segundos de video etiquetado lo que normalmente le tomaría de cinco a diez minutos aprender desde cero. Sorprendentemente, este preentrenamiento mejoró la capacidad del sistema para reconocer comportamientos en ángulos de cámara completamente nuevos, como una vista desde debajo del animal, a pesar de que los datos de preentrenamiento solo incluían vistas superiores o laterales. Esto sugiere que el sistema aprendió una comprensión profunda de cómo se mueven los animales que se aplica en diferentes entornos, lo que lo hace altamente adaptable para futuros experimentos.

Las implicaciones de este trabajo se extienden más allá de la velocidad y la precisión. Al eliminar la necesidad de rastrear las partes del cuerpo, el sistema puede observar comportamientos que son difíciles de definir solo por la postura, como un animal interactuando con un objeto específico o navegando en un entorno complejo. Abre la puerta a experimentos donde la computadora puede responder al estado del animal en tiempo real, creando un bucle dinámico entre el sujeto y su entorno. Aunque el estudio actual se centró en ratones y moscas, los principios se aplican ampliamente a cualquier situación donde entender el comportamiento en tiempo real sea crucial. El sistema se ejecuta en hardware estándar, lo que significa que no requiere supercomputadoras costosas para operar, haciendo que el análisis conductual avanzado sea accesible para una gama más amplia de laboratorios. En última instancia, B-REAL transforma el comportamiento de un registro estático del pasado en una señal viva que puede usarse para guiar y comprender el cerebro en el momento.

Resumen Técnico: B-REAL

Planteamiento del Problema

El análisis de comportamiento automatizado en neuroetología enfrenta dos obstáculos primordiales: la significativa carga de anotación requerida para entrenar modelos de estimación de pose (seguimiento de puntos clave o keypoints) y la incapacidad de los métodos actuales para clasificar el comportamiento con la rapidez suficiente para experimentos de bucle cerrado (closed-loop) en tiempo real. Los procesos tradicionales de dos etapas (estimación de pose seguida de clasificación de comportamiento) están limitados por la naturaleza laboriosa de la anotación de puntos clave y la resolución temporal de los resúmenes cinemáticos, que a menudo exceden la duración de comportamientos breves. Además, los enfoques actuales de mapeo directo de video a comportamiento que utilizan modelos fundacionales (por ejemplo, VideoPrism, FERAL, CBAS) suelen requerir recursos sustanciales de GPU y procesamiento fuera de línea (offline), lo que impide su uso en el control experimental en tiempo real donde los estímulos o recompensas deben activarse en milisegundos tras el inicio del comportamiento.

Metodología

Los autores presentan B-REAL, una plataforma de aprendizaje automático supervisado diseñada para el mapeo directo de video a comportamiento sin la representación intermedia de puntos clave.

Arquitectura: B-REAL adapta la arquitectura EfficientNet (diseñada originalmente para inferencia móvil) insertando Módulos de Desplazamiento Temporal (TSM) entre las etapas convolucionales. Los TSM intercambian una fracción de la información de los canales entre fotogramas adyacentes sin añadir parámetros aprendibles ni sobrecarga computacional. Esto permite que la red convolucional 2D capture características espaciotemporales y la dinámica del movimiento mientras mantiene la velocidad de inferencia de un modelo de imagen estática.
Inferencia en Tiempo Real: Para garantizar la causalidad y la capacidad de tiempo real, el modelo procesa un clip de fotogramas pero solo emite una clasificación basada en las características del fotograma final (tiempo actual $t$ ), utilizando la información de los fotogramas precedentes ( $t-1, t-2$ , etc.) a través de los desplazamientos temporales. Esto asegura que las predicciones dependan solo de datos pasados y presentes, no de fotogramas futuros.
Tamizaje de Latencia: Antes del entrenamiento, el sistema evalúa las arquitecturas candidatas de EfficientNet (b0–b7) y las longitudes de los clips frente a un presupuesto de latencia específico (por ejemplo, 16.7 ms para 60 FPS) utilizando entradas ficticias y entornos de ejecución optimizados por hardware (TensorRT para GPU, OpenVINO para CPU). Solo se seleccionan para el entrenamiento aquellas arquitecturas que cumplen con el umbral de latencia del percentil 95 o 99.
Estrategia de Entrenamiento:
- Entrenamiento Estándar: Los modelos se ajustan (fine-tuning) utilizando clips de video etiquetados mediante una pérdida de entropía cruzada con suavizado de etiquetas consciente de los límites (boundary-aware label smoothing) para compensar la variabilidad de los evaluadores humanos en las transiciones de comportamiento.
- Destilación: Para mejorar la eficiencia de las etiquetas, los autores destilan representaciones de un modelo fundacional de video V-JEPA 2 (entrenado en una masa de video no etiquetado) hacia la arquitectura B-REAL. Este pre-entrenamiento autosupervisado utiliza video de ratones no etiquetado de diversos conjuntos de datos (CalMS21, CRIM13, MABe22, etc.) para inicializar los pesos, lo que no requiere anotaciones humanas durante la fase de pre-entrenamiento.
Desplieglemento: El modelo entrenado se exporta a formatos compatibles con TorchScript o Bonsai, permitiendo su integración en sistemas de bucle cerrado donde las probabilidades de comportamiento impulsan señales TTL para recompensas o estímulos.

Contribuciones Clave

Clasificación en Tiempo Real Libre de Pose: B-REAL logra latencias de inferencia de extremo a extremo inferiores a 15 ms en hardware estándar (incluyendo CPUs), permitiendo la clasificación de comportamiento más rápido de lo que se graban los fotogramas de video.
Alta Eficiencia de Muestreo: La plataforma alcanza un rendimiento de vanguardia con una cantidad de datos de entrenamiento sustancialmente menor que los métodos establecidos.
Robustez ante Comportamientos Raros: A diferencia de los métodos basados en pose que tienen dificultades con eventos transitorios, B-REAL detecta eficazmente comportamientos raros de un solo fotograma (por ejemplo, cargas de moscas) debido a su procesamiento espaciotemporal directo a nivel de píxel.
Destilación para Reducción de Etiquetas: Los autores demuestran que la destilación de características de un modelo fundacional de video permite que B-REAL alcance una alta precisión con tan solo 30 segundos de datos etiquetados, una reducción de diez a veinte veces en el tiempo de anotación en comparación con los modelos inicializados con ImageNet.

Resultados

Comportamiento Social (CalMS21): En el banco de pruebas de comportamiento social de ratones, B-REAL igualó o superó a los métodos establecidos (A-SOiD y CBAS) utilizando solo de 30 segundos a 1 minuto de datos etiquetados. Con un minuto de datos, B-REAL superó a A-SOiD y CBAS entrenados con el conjunto de datos completo.
Comportamientos Raros (Mosca contra Mosca): En el conjunto de datos de agresión de moscas, B-REAL superó significativamente a los modelos de referencia en la detección del comportamiento de "carga" (charge), el cual es extremadamente raro (0.016% de los fotogramas) y breve (el 56% de los episodios duran un solo fotograma). Mientras que A-SOiD falló en detectar las cargas y CBAS sufrió de altos falsos positivos, B-REAL logró una alta precisión y exhaustividad (recall) con un mínimo de datos de entrenamiento.
Experimento de Bucle Cerrado: En un experimento en tiempo real, B-REAL detectó el acicalamiento de la cabeza en ratones y activó una recompensa de agua. A lo largo de nueve sesiones, la tasa de episodios de acicalamiento aumentó un 129%, demostrando la capacidad del sistema para moldear el comportamiento naturalista mediante el refuerzo de bucle cerrado.
Generalización: Los modelos pre-entrenados mediante destilación en diversos corpora de video no etiquetados se generalizaron a nuevas geometrías de grabación (vista ventral) no presentes en los datos de pre-entrenamiento, superando a los modelos inicializados con ImageNet con un mínimo de ajuste fino etiquetado.

Significancia y Reivindicaciones

El artículo sostiene que B-REAL hace que los experimentos de comportamiento de bucle cerrado sean prácticos al eliminar el cuello de botella de la anotación de la estimación de pose y las restricciones de latencia de los modelos fundacionales. Al mapear el video bruto directamente al comportamiento con latencias de adquisición sub-fotograma, B-REAL permite que el comportamiento sirva como una variable experimental activa para activar estímulos, administración de fármacos o manipulaciones ambientales en tiempo real. Los autores enfatizan que este enfoque es particularmente ventajoso para detectar comportamientos breves y transitorios, así como para aplicaciones que requieren una mínima anotación, tales como entornos clínicos o monitoreo a largo plazo. El trabajo establece que la clasificación de comportamiento en tiempo real y libre de pose es alcanzable con hardware estándar y minutos de datos etiquetados, siempre que la arquitectura esté optimizada para la latencia e inicializada con representaciones de características apropiadas.