🤖 machine learning

UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning

UNIEGO introduce un marco de destilación jerárquica de múltiples profesores que emplea modelos Proxy específicos de representación y una estrategia de Destilación de Proxy Selectiva para unificar el conocimiento diverso de múltiples puntos de vista, modalidades y modelos fundacionales en un único codificador de video egocéntrico de vanguardia.

Autores originales: Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

Publicado 2026-06-19

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando aprender a cocinar un plato complejo, pero llevas una venda en los ojos y solo tienes un pequeño agujero para mirar frente a tu cara. Puedes ver la olla, pero no puedes ver tus manos, los ingredientes sobre la encimera, ni a la persona que está de pie junto a ti. Esto es exactamente el problema que enfrentan las computadoras al intentar comprender videos tomados desde el punto de vista de una persona (llamado video egocéntrico). La cámara ve una visión estrecha, temblorosa y a menudo bloqueada, perdiendo detalles cruciales sobre el cuerpo de la persona o la habitación circundante.

El artículo presenta un nuevo sistema llamado UNIEGO para resolver esto. Piensa en UNIEGO como un maestro chef que quiere aprender la receta perfecta, pero en lugar de solo mirar a través de ese pequeño agujero, tiene acceso a un equipo de nueve maestros expertos.

Así es como funciona UNIEGO, desglosado en pasos sencillos:

1. El Problema: Demasiados Maestros, Demasiados Idiomas

Normalmente, si quieres aprender de muchos maestros, simplemente les pides que te enseñen a todos a la vez. Pero en este caso, los maestros están hablando diferentes "idiomas" y mirando el mundo desde diferentes ángulos:

La Brecha de Punto de Vista: Algunos maestros llevan la misma cámara que tú (Egocéntricos), mientras que otros están parados al otro lado de la habitación observándote (Exocéntricos).
La Brecha de Modalidad: Algunos maestros ven en color estándar (RGB), otros ven en profundidad 3D (como un sensor de visión nocturna) y otros ven solo el esqueleto de tus huesos.
La Brecha de Modelo: Algunos maestros son modelos de IA gigantes y preentrenados (Modelos Fundacionales) que saben mucho sobre el mundo, mientras que otros son modelos especializados para tareas específicas.

Si intentas escuchar a los nueve maestros al mismo tiempo, es como estar en una habitación donde todos gritan en diferentes idiomas. El estudiante se confunde, las instrucciones chocan y no aprende nada. Esto se llama "gradientes conflictivos".

2. La Solución: Los Traductores "Proxy"

UNIEGO no deja que el estudiante hable directamente con los maestros. En su lugar, contrata a un equipo de Proxies.

Piensa en estos Proxies como intérpretes.

Cada maestro (el experto en esqueletos, la cámara de profundidad, la IA gigante) le enseña a un Proxy específico.
Crucialmente, cada Proxy habla el mismo idioma que el estudiante final: todos miran el video a través del mismo "agujero" egocéntrico.
El maestro le enseña al Proxy su conocimiento específico (por ejemplo, "así es como se mueve el esqueleto") y el Proxy traduce eso a un formato que el estudiante pueda entender.

Al final de esta primera etapa, el estudiante tiene un grupo de nueve intérpretes, todos hablando el mismo idioma, pero cada uno poseyendo una pieza del rompecabezas de un experto diferente.

3. El Filtro Inteligente: "Destilación de Proxy Selectiva"

Ahora viene la parte difícil. Incluso con intérpretes, a veces un intérprete puede estar equivocado o confundido sobre un momento específico del video. Si el estudiante escucha a un intérprete confundido, aprenderá algo incorrecto.

UNIEGO utiliza un filtro inteligente llamado Destilación de Proxy Selectiva (SPD).

Para cada momento del video, UNIEGO le pregunta a los intérpretes: "¿Quién está seguro y en lo correcto en este momento?"
Ignora a los intérpretes que no están seguros o que están equivocados.
Solo escucha a los pocos intérpretes que están seguros de su respuesta.

Es como un estudiante en un salón de clases que solo levanta la mano para escuchar al profesor que está 100% seguro de la respuesta, ignorando a los que están adivinando. Esto evita que el estudiante se confunda por consejos erróneos.

4. El Comienzo Suave: "Fusión de Proxies"

Antes de que el estudiante comience siquiera a aprender de los intérpretes, UNIEGO le da una "ventaja inicial". Toma el conocimiento de todos los intérpretes y los mezcla matemáticamente para crear un punto de partida que ya es bastante bueno. Esto coloca al estudiante en una "zona segura" donde el aprendizaje es más fácil y es menos probable que se descontrole.

El Resultado

El resultado final es UNIEGO, un único modelo de IA que:

Solo necesita una cámara (la que se lleva puesta) para funcionar durante el uso en la vida real.
Sabe más de lo que cualquier sola cámara podría ver, porque fue entrenado con la sabiduría combinada de la profundidad, los esqueletos y las vistas externas.
Se desempeña mejor al reconocer acciones, encontrar videos y recortar clips de video que cualquier método anterior que intentara combinar estas vistas directamente.

En resumen, UNIEGO es un estudiante maestro que aprende contratando a un equipo de traductores para convertir una habitación caótica de expertos gritando en una lección clara y única, asegurándose de escuchar solo el mejor consejo en el momento adecuado.

Resumen Técnico: UNIEGO

Declaración del Problema

La comprensión de video egocéntrico está fundamentalmente limitada por el campo de visión estrecho y las auto-oclusiones persistentes inherentes a las cámaras portátiles. Un modelo único entrenado únicamente con datos RGB egocéntricos a menudo no logra capturar toda la riqueza de la acción humana, al carecer de acceso a estructuras geométricas complementarias (profundidad, esqueleto) y al contexto de la escena más amplio disponible a través de puntos de vista exocéntricos. Además, el rico conocimiento representacional encapsulado dentro de los modelos fundacionales (FMs) a gran escala y las diversas modalidades permanece en gran medida sin aprovechar para las tareas egocéntricas.

Si bien la destilación de conocimiento multi-maestro ofrece una solución potencial, los enfoques existentes luchan en el entorno egocéntrico debido a dos desafíos primarios:

Heterogeneidad: Los maestros varían significativamente en arquitectura (por ejemplo, modelos de esqueleto basados en grafos frente a codificadores de video), modalidades de entrada (RGB, profundidad, esqueleto) y punto de vista (egocéntrico frente a exocéntrico).
Gradientes Conflictivos: La destilación ingenua de maestros heterogéneos hacia un estudiante único crea espacios de características incompatibles, lo que genera señales de gradiente conflictivas que degradan la optimización y evitan que el estudiante cierre eficazmente las brechas de modalidad y punto de vista.

Metodología: Destilación Multi-Maestro Jerárquica

Los autores proponen UNIEGO, un codificador egocéntrico unificado entrenado mediante un marco de destilación jerárquica de dos niveles. Este enfoque evita la destilación directa de maestros heterogéneos, interponiendo en su lugar una capa de modelos Proxy específicos de la representación para mediar la transferencia de conocimiento.

Nivel-I: Aprendizaje de Proxies (Proxy Learning)

La primera etapa traduce el conocimiento de diversos maestros en un espacio egocéntrico homogéneo.

Arquitectura: Se entrena un conjunto de $R$ modelos proxy, donde cada proxy comparte la misma arquitectura egocéntrica (por ejemplo, TimeSformer) que el estudiante final.
Proceso: Cada proxy $P_r$ destila de forma independiente el conocimiento de un maestro específico $T_r$ (que abarca vistas RGB, de profundidad, de esqueleto, egocéntricas y exocéntricas, incluyendo FMs como DINOv2 y SigLIP).
Objetivo: Los proxies aprenden a mapear las características de los maestros heterogéneos en un espacio de incrustación (embedding) egocéntrico consistente, cerrando efectivamente las brechas de modalidad y punto de vista. Esta etapa utiliza la destilación a nivel de características (distancia de coseno) combinada con la pérdida de clasificación de acciones.

Nivel-II: Destilación de Proxies Selectiva (Selective Proxy Distillation - SPD)

La segunda etapa consolida el conocimiento del conjunto de proxies en el modelo UNIEGO final.

Inicialización por Fusión de Proxies (Proxy Merging): Para estabilizar la optimización, UNIEGO no se inicializa de forma aleatoria, sino como una combinación convexa aprendida de los parámetros de los proxies ( $\theta^*_{merge} = \sum \alpha^*_r \theta_r$ ). Esto sitúa al modelo unificado en una región plana y bien condicionada del paisaje de pérdida antes de que comience la destilación.
Destilación de Proxies Selectiva (SPD): En lugar de destilar de todos los proxies simultáneamente, el SPD selecciona de forma adaptativa un subconj conjunto de proxies fiables para cada muestra de entrenamiento.
- Criterio de Selección: Un proxy se considera candidato solo si predice correctamente la clase de la acción. Entre los candidatos correctos, se seleccionan los top- $k$ proxies con la menor pérdida de entropía cruzada (mayor confianza).
- Supresión: Si ningún proxy es correcto para una muestra, la destilación se omite para esa muestra para evitar la absorción de supervisión errónea.
- Pérdida: Los proxies seleccionados proporcionan señales de destilación tanto a nivel de características como a nivel de logits al estudiante.

Contribuciones Clave

Marco UNIEGO: Introducción de un codificador egocéntrico unificado entrenado con nueve maestros a través de múltiples modalidades, puntos de vista y modelos fundacionales, utilizando proxies específicos de la representación como mediadores estructurados.
Tres Componentes Estrechamente Acoplados:
- Aprendizaje de Proxies: Convierte la supervisión heterogénea en un conjunto de proxies arquitectónicamente homogéneos.
- Destilación de Proxies Selectiva (SPD): Un mecanismo por muestra que enruta dinámicamente la supervisión desde los proxies más fiables, mitigando los gradientes conflictivos.
- Fusión de Proxies (Proxy Merging): Una inicialización convexa aprendida que estabiliza el paisaje de optimización.
Rendimiento de Vanguardia (State-of-the-Art): Demostración de que la transferencia de conocimiento mediada por proxies estructurados produce representaciones más ricas que la supervisión directa multi-maestro.

Resultados Experimentales

UNIEGO fue evaluado en tres entornos desafiantes de ego-exo: EgoExo-Fitness, Assembly101 y EgoExo4D.

Reconocimiento de Acciones: UNIEGO logró un rendimiento de vanguardia bajo inferencia egocéntrica (utilizando solo video egocéntrico en el tiempo de prueba).
- Superó a la arquitectura base TimeSformer en un +4.4%, +3.1% y +1.2% en los tres respectivos conjuntos de datos.
- Superó a la base de destilación más fuerte ( $\pi$ -ViT) en un +4.6% y +2.9% en EgoExo-Fitness y Assembly101.
- Crucialmente, superó a las bases de destilación multi-maestro ingenuas, confirmando la necesidad del enfoque mediado por proxies.
Recuperación de Video y Segmentación: UNIEGO demostró un rendimiento superior en la recuperación de video (medido por mAP y Recall@1) y la segmentación de acciones temporales (puntuaciones F1, distancia de edición y precisión) en comparación con las bases. Notablemente, la destilación multi-maestro ingenua degradó el rendimiento de la segmentación en relación con las bases desde cero, mientras que UNIEGO lo mejoró.
Generalización: El marco demostró ser robusto en diferentes arquitecturas de base, incluyendo modelos compactos como UniFormer-S (22 millones de parámetros), mostrando efectividad para el despliegue con recursos limitados.

Significado y Reivindicaciones

El artículo afirma que UNIEGO aborda con éxito la naturaleza "mal planteada" de aprender una representación egocéntrica unificada a partir de fuentes heterogéneas. Al introducir proxies como mediadores, el marco:

Disuelve la Brecha Representacional: Las proyecciones de maestros heterogéneos en un espacio proxy homogéneo aumentan significamente la similitud entre las representaciones de los maestros (verificado mediante Alineación de Núcleo Centrado).
Mitiga los Gradientes Conflictivos: La combinación de aprendizaje de proxies y destilación selectiva transforma un paisaje de optimización conflictivo en uno coherente. El análisis muestra que el SPD reduce significativamente las tasas de conflicto de gradiente en comparación con la destilación directa multi-maestro.

Los autores concluyen que UNIEGO permite que un codificador egocéntrico "vea más lejos, sepa más y generalice mejor" sin requerir flujos de cámara adicionales en el tiempo de inferencia. Reconocen una limitación en su estrategia actual de selección de proxies (dependiente de una heurística de baja pérdida) y sugieren que un mecanismo de selección adaptativo y aprendido es una dirección prometedora para trabajos futuros.