🤖 machine learning

UNIEGO: Proxies as Mediators for Unified Egocentric Video Representation Learning

O UNIEGO introduz um framework de destilação hierárquica de múltiplos professores que emprega modelos de Proxy específicos de representação e uma estratégia de Destilação de Proxy Seletiva para unificar conhecimentos diversos de múltiplas perspectivas, modalidades e modelos de fundação em um único codificador de vídeo egocêntrico de estado da arte.

Autores originais: Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

Publicado 2026-06-19

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando aprender a cozinhar um prato complexo, mas está usando uma venda nos olhos e tem apenas um pequeno orifício de visão à sua frente. Você consegue ver a panela, mas não consegue ver suas mãos, os ingredientes na bancada ou a pessoa parada ao seu lado. Isso é exatamente o problema que os computadores enfrentam ao tentar entender vídeos gravados do ponto de vista de uma pessoa (chamado de vídeo egocêntrico). A câmera vê uma visão estreita, instável e frequentemente bloqueada, perdendo detalhes cruciais sobre o corpo da pessoa ou o ambiente ao redor.

O artigo apresenta um novo sistema chamado UNIEGO para resolver isso. Pense no UNIEGO como um mestre cuca que quer aprender a receita perfeita, mas, em vez de apenas olhar através desse pequeno orifício, ele tem acesso a uma equipe de nove professores especialistas.

Veja como o UNIEGO funciona, dividido em etapas simples:

1. O Problema: Muitos Professores, Muitas Línguas

Normalmente, se você quiser aprender com muitos professores, basta pedir que todos ensinem ao mesmo tempo. Mas, neste caso, os professores estão falando "línguas" diferentes e olhando para o mundo de ângulos diferentes:

A Lacuna de Perspectiva: Alguns professores estão usando a mesma câmera que você (Egocêntricos), enquanto outros estão parados do outro lado da sala observando você (Exocêntricos).
A Lacuna de Modalidade: Alguns professores veem em cores padrão (RGB), outros veem profundidade 3D (como um sensor de visão noturna) e outros veem apenas o esqueleto dos seus ossos.
A Lacuna de Modelo: Alguns professores são modelos de IA gigantes e pré-treinados (Modelos de Fundação) que sabem muito sobre o mundo, enquanto outros são modelos especializados para tarefas específicas.

Se você tentar ouvir todos os nove professores ao mesmo tempo, é como estar em uma sala onde todos estão gritando em línguas diferentes. O aluno fica confuso, as instruções entram em conflito e ele não aprende nada. Isso é chamado de "gradientes conflitantes".

2. A Solução: Os Tradutores "Proxy"

O UNIEGO não deixa o aluno falar diretamente com os professores. Em vez disso, ele contrata uma equipe de Proxies.

Pense nesses Proxies como intérpretes.

Cada professor (o especialista em esqueleto, a câmera de profundidade, a IA gigante) ensina um Proxy específico.
Crucialmente, cada Proxy fala a mesma língua do aluno final: todos olham para o vídeo através do mesmo "orifício egocêntrico".
O professor ensina ao Proxy o seu conhecimento específico (ex: "Aqui está como o esqueleto se move") e o Proxy traduz isso para um formato que o aluno possa entender.

Ao final desta primeira etapa, o aluno tem um grupo de nove intérpretes, todos falando a mesma língua, mas cada um detendo uma peça do quebra-cabeça de um especialista diferente.

3. O Filtro Inteligente: "Destilação de Proxy Seletiva"

Agora vem a parte difícil. Mesmo com intérpretes, às vezes um intérprete pode estar errado ou confuso sobre um momento específico do vídeo. Se o aluno ouvir um intérprete confuso, ele aprenderá a coisa errada.

O UNIEGO usa um filtro inteligente chamado Destilação de Proxy Seletiva (SPD).

Para cada momento individual do vídeo, o UNIEGO pergunta aos intérpretes: "Quem está confiante e correto agora?"
Ele ignora os intérpretes que estão incertos ou errados.
Ele só ouve os poucos intérpretes que têm certeza de sua resposta.

É como um aluno em uma sala de aula que só levanta a mão para ouvir o professor que tem 100% de certeza da resposta, ignorando aqueles que estão apenas supondo. Isso evita que o aluno se confunda com conselhos ruins.

4. O Início Suave: "Fusão de Proxy"

Antes mesmo de o aluno começar a aprender com os intérpretes, o UNIEGO dá a ele uma "vantagem inicial". Ele pega o conhecimento de todos os intérpretes e os mistura matematicamente para criar um ponto de partida que já é muito bom. Isso coloca o aluno em uma "zona de segurança", onde o aprendizado é mais fácil e menos propenso a sair dos trilhos.

O Resultado

O resultado final é o UNIEGO, um único modelo de IA que:

Só precisa de uma câmera (a câmera vestível) para funcionar durante o uso na vida real.
Sabe mais do que qualquer câmera individual poderia ver, porque foi treinado com a sabedoria combinada de profundidade, esqueletos e visões externas.
Tem um desempenho superior no reconhecimento de ações, busca de vídeos e segmentação de clipes de vídeo do que qualquer método anterior que tentou combinar essas visões diretamente.

Em resumo, o UNIEGO é um aluno mestre que aprende contratando uma equipe de tradutores para transformar uma sala caótica de especialistas gritando em uma lição clara e única, garantindo que ele apenas ouça o melhor conselho no momento certo.

Resumo Técnico: UNIEGO

Declaração do Problema

A compreensão de vídeo egocêntrico é fundamentalmente limitada pelo campo de visão estreito e pelas oclusões de si mesmo persistentes inerentes às câmeras vestíveis. Um único modelo treinado apenas com dados RGB egocêntricos frequentemente falha em capturar toda a riqueza da ação humana, carecendo de acesso a estruturas geométricas complementares (profundidade, esqueleto) e ao contexto de cena mais amplo disponível através de pontos de vista exocêntricos. Além disso, o rico conhecimento representacional encapsulado em modelos de fundação (FMs) de grande escala e em diversas modalidades permanece amplamente inexplorado para tarefas egocêntricas.

Embora a destilação de conhecimento multi-professor ofereça uma solução potencial, as abordagens existentes lutam no cenário egocêntrico devido a dois desafios primários:

Heterogeneidade: Os professores variam significamente em arquitetura (ex: modelos de esqueleto baseados em grafos vs. codificadores de vídeo), modalidades de entrada (RGB, profundidade, esqueleto) e ponto de vista (egocêntrico vs. exocêntrico).
Gradientes Conflitantes: Destilar ingenuamente de professores heterogêneos para um único estudante cria espaços de características incompatíveis, levando a sinais de gradiente conflitantes que degradam a otimização e impedem o estudante de efetivamente unir as lacunas de modalidade e de ponto de vista.

Metodologia: Destilação Multi-Professor Hierárquica

Os autores propõem o UNIEGO, um codificador egocêntrico unificado treinado via um framework de destilação hierárquica de dois níveis. Esta abordagem evita a destilação direta de professores heterogêneos, interpondo, em vez disso, uma camada de modelos de Proxy específicos de representação para mediar a transferência de conhecimento.

Nível-I: Aprendizado de Proxy

O primeiro estágio traduz o conhecimento de diversos professores em um espaço egocêntrico homogêneo.

Arquitetura: Um pool de $R$ modelos de proxy é treinado, onde cada proxy compartilha a mesma arquitetura egocêntrica (ex: TimeSformer) que o estudante final.
Processo: Cada proxy $P_r$ destila independentemente o conhecimento de um professor específico $T_r$ (abrangendo RGB, profundidade, esqueleto, pontos de vista ego e exo, incluindo FMs como DINOv2 e SigLIP).
Objetivo: Os proxies aprendem a mapear características de professores heterogêneos em um espaço de incorporação (embedding) egocêntrico consistente, efetivamente unindo as lacunas de modalidade e de ponto de vista. Este estágio utiliza destilação de nível de característica (distância de cosseno) combinada com perda de classificação de ação.

Nível-II: Destilação de Proxy Seletiva (SPD)

O segundo estágio consolida o conhecimento do pool de proxies no modelo UNIEGO final.

Inicialização de Fusão de Proxy: Para estabilizar a otimização, o UNIEGO não é inicializado aleatoriamente, mas sim como uma combinação convexa aprendida dos parâmetros dos proxies ( $\theta^*_{merge} = \sum \alpha^*_r \theta_r$ ). Isso coloca o modelo unificado em uma região plana e bem condicionada do landscape de perda antes do início da destilação.
Destilação de Proxy Seletiva (SPD): Em vez de destilar de todos os proxies simultaneamente, o SPD seleciona adaptativamente um subconjunto de proxies confiáveis para cada amostra de treinamento.
- Critério de Seleção: Um proxy é considerado candidato apenas se prever corretamente a classe de ação. Entre os candidatos corretos, os top- $k$ proxies com a menor perda de entropia cruzada (maior confiança) são selecionados.
- Supressão: Se nenhum proxy estiver correto para uma amostra, a destilação é ignorada para aquela amostra para evitar a absorção de supervisão errônea.
- Perda: Os proxies selecionados fornecem sinais de destilação tanto de nível de característica quanto de nível de logit para o estudante.

Principais Contribuições

Framework UNIEGO: Introdução de um codificador egocêntrico unificado treinado com nove professores através de múltiplas modalidades, pontos de vista e modelos de fundação, utilizando proxies de representação como mediadores estruturados.
Três Componentes Estreitamente Acoplados:
- Aprendizado de Proxy: Converte supervisão heterogênea em um pool de proxies egocêntricos arquiteturalmente homogêneos.
- Destilação de Proxy Seletiva (SPD): Um mecanismo por amostra que roteia dinamicamente a supervisão dos proxies mais confiáveis, mitigando gradientes conflitantes.
- Fusão de Proxy: Uma inicialização convexa aprendida que estabiliza o landscape de otimização.
Desempenho de Estado da Arte: Demonstração de que a transferência de conhecimento mediada por proxies estruturados produz representações mais ricas do que a supervisão direta multi-professor.

Resultados Experimentais

O UNIEGO foi avaliado em três benchmarks ego-exo desafiadores: EgoExo-Fitness, Assembly101 e EgoExo4D.

Reconhecimento de Ação: O UNIEGO alcançou desempenho de estado da arte sob inferência egocêntrica (usando apenas vídeo egocêntrico no teste).
- Superou o backbone TimeSformer em +4.4%, +3.1% e +1.2% nos três respectivos datasets.
- Superou o baseline de destilação mais forte ( $\pi$ -ViT) em +4.6% e +2.9% no EgoExo-Fitness e Assembly101.
- Crucialmente, superou baselines de destilação multi-professor ingênuos, confirmando a necessidade da abordagem mediada por proxy.
Recuperação de Vídeo e Segmentação: O UNIEGO demonstrou desempenho superior em recuperação de vídeo (medido por mAP e Recall@1) e segmentação de ação temporal (pontuações F1, distância de Edição e Acurácia) em comparação com baselines. Notavelmente, a destilação multi-professor ingênua degradou o desempenho de segmentação em relação aos baselines do zero (scratch), enquanto o UNIEGO o melhorou.
Generalização: O framework provou ser robusto através de diferentes arquiteturas de backbone, incluindo modelos compactos como o UniFormer-S (22M parâmetros), mostrando eficácia para implantação com recursos limitados.

Significância e Alegações

O artigo afirma que o UNIEGO aborda com sucesso a natureza "mal posta" de aprender uma representação egocêntrica unificada a partir de fontes heterogêneas. Ao introduzir proxies como mediadores, o framework:

Dissolve a Lacuna Representacional: As projeções de professores heterogêneos em um espaço de proxy homogêneo aumentam significativamente a similaridade entre as representações dos professores (verificado via Alinhamento de Kernel Centrado).
Mitiga Gradientes Conflitantes: A combinação de aprendizado de proxy e destilação seletiva transforma um landscape de otimização conflitante em um coerente. A análise mostra que o SPD reduz significativamente as taxas de conflito de gradiente em comparação com a destilação direta multi-professor.

Os autores concluem que o UNIEGO permite que um codificador egocêntrico "veja mais longe, saiba mais e generalize melhor" sem exigir fluxos de câmera adicionais no momento da inferência. Eles reconhecem uma limitação em sua estratégia atual de seleção de proxy (baseada em uma heurística de baixa perda) e sugerem que um mecanismo de seleção adaptativo e aprendido é uma direção promissora para trabalhos futuros.