Toward Low-Latency Vision-Language Models with Doubly-Correct Predictions in Egocentric Visual Understanding

Resumo Técnico: Rumo a Modelos de Visão-Linguagem de Baixa Latência com Predições Duplamente Corretas na Compreensão Visual Egocêntrica

Declaração do Problema
A rápida adoção de Modelos de Visão-Linguagem (VLMs) na colaboração humano-robô (HRC) e na compreensão visual egocêntrica enfrenta um gargalo crítico: o alto custo computacional e a latência de inferência de modelos massivos dificultam o processamento em tempo real e embarcado. Embora a poda de pesos (weight pruning) seja uma técnica padrão para reduzir o tamanho do modelo e a computação, os métodos existentes otimizam primariamente apenas para a precisão da predição. Este artigo argumenta que, em robótica física de missão crítica, a precisão é insuficiente. Um modelo deve produzir Predições Duplamente Corretas (DCP): saídas que não são apenas factualmente corretas, mas também fundamentadas em evidências visuais válidas (razões/racionais).

Os autores identificam um modo de falha específico nas estratégias de poda atuais: elas frequentemente preservam a capacidade de identificar evidências válidas (ex: a localização correta de um objeto), mas degradam a capacidade do modelo de usar essa evidência para fazer a predição correta. Isso leva a cenários de "Certo pelo Motivo Errado", onde um modelo podado pode localizar corretamente uma chave de fenda, mas falhar ao prever a ação de "entrega manual", ou, inversamente, prever a ação correta baseando-se em correlações espúrias em vez do próprio objeto. Tal desalinhamento impõe riscos de segurança severos à inteligência incorporada (embodied intelligence), potencialmente levando a falhas de tarefa ou ferimentos humanos.

Metodologia
O artigo propõe uma estratégia de Poda Informada por Racional (Rationale-Informed Pruning) projetada para preservar a DCP enquanto reduz a sobrecarga computacional. A metodologia procede através das seguintes etapas:

1. Definição do Protocolo de Avaliação: Os autores definem um protocolo de avaliação DCP espaço-temporal para vídeos egocêntricos.

   • Definição de Racional: Os racionais são definidos como os objetos manipulados por humanos que fornecem evidência para uma ação.
   • Dimensões: A correção é avaliada em duas dimensões: Espacial (localização do objeto dentro de um quadro, medida via Precisão de Massa Relevante) e Temporal (identificação de quadros que contêm o objeto, tratada como classificação binária).
   • Métricas: O estudo introduz Confiabilidade de Predição (PT), Confiabilidade de Inferência (IR) e a proporção de amostras Duplamente Corretas (RR) para diagnosticar os efeitos da poda.

2. Descobertas Diagnósticas: Experimentos em métodos de poda pós-treinamento existentes (OMP, GMP, Kwon et al., ECoFLaP) revelam que, embora possam manter uma alta PT (racionais válidos entre predições corretas), eles degradam significativamente a IR (predições corretas entre racionais válidos) e a RR. Modelos podados frequentemente retêm a localização de evidências válidas, mas falham em propagar essa evidência para a camada de decisão final, resultando em predições incorretas apesar de racionais corretos.

3. Algoritmo de Poda Proposto: Para abordar isso, os autores introduzem um framework de poda que utiliza os próprios racionais gerados pelo modelo para guiar a seleção de pesos sem supervisão adicional.

   • Não Uniformidade por Camada: As taxas de poda são alocadas de forma não uniforme entre as camadas com base na magnitude dos pesos, reconhecendo que diferentes camadas contribuem desigualmente para a predição.
   • Hessiano Guiado por Racional: A inovação central modifica a abordagem padrão do Optimal Brain Surgeon (OBS). Em vez de usar ativações de entrada brutas para calcular a matriz Hessiana (que inclui ruído de fundo), o método incorpora uma máscara de racional.
   • Modulação Semântica: A máscara de racional é refinada computando a similaridade de cosseno entre o embedding de texto do objeto do racional e a classe prevista. Este escore de similaridade atua como um fator semântico para ponderar a máscara, amplificando contribuições de racionais semanticamente alinhados e reduzindo o peso do ruído.
   • Pontuação de Peso: O escore de importância para cada peso é calculado usando uma aproximação de Taylor de segunda ordem da perda, onde o Hessiano é construído usando a máscara de racional modulada. Isso garante que os pesos críticos para conectar evidências válidas à decisão correta sejam preservados.

Principais Contribuições

• Avaliação DCP Espaço-Temporal: O artigo propõe um novo protocolo de avaliação especificamente para a compreensão visual egocêntrica que avalia tanto a precisão da predição quanto a validade dos racionais espaço-temporais.
• Insight Diagnóstico: Através de experimentos extensos, os autores descobrem um risco anteriormente inexplorado na poda: os métodos existentes frequentemente desacoplam a evidência válida da decisão correta, levando a implantações não confiáveis de VLMs em robótica.
• Poda Informada por Racional: Um novo algoritmo de poda que utiliza os próprios racionais do modelo para guiar a remoção de pesos. Esta abordagem alinha a localização da evidência com a tomada de decisão, garantindo que modelos reduzidos mantenam a capacidade de produzir predições duplamente corretas.

Resultos Experimentais
O método foi avaliado em benchmarks padrão de vídeo egocêntrico: EPIC-KITCHENS VISOR e EgoExo4D, utilizando o ActionCLIP (ViT-B/32) como modelo base.

• Desempenho: O método proposto supera consistentemente as linhas de base de poda existentes (OMP, GMP, Kwon et al., ECoFLaP) em todas as taxas de poda (20%, 25%, 30%).
• Precisão: Alcança a maior precisão de predição entre todos os métodos comparados.
• Métricas de Dupla Correção: O método melhora significativamente a Confiabilidade de Inferência (IR) e a proporção de amostras Duplamente Corretas (RR). Por exemplo, no EPIC-KITCHENS VISOR com uma taxa de poda de 30%, o método melhorou a IR espacial em 13,62% e a RR em 3,65% em comparação com a forte linha de base ECoFLaP.
• Confiabilidade: O método preserva com sucesso a Confiabilidade de Predição (PT), garantindo que as predições corretas permaneçam fundamentadas em racionais válidos.
• Estudos de Ablação: Experimentos confirmam que tanto o uso de máscaras de racional quanto a modulação semântica dessas máscaras são componentes críticos; remover qualquer um deles leva a uma queda significativa no desempenho da DCP.

Significância e Alegações
O artigo afirma que alcançar VLMs de baixa latência para robótica exige mais do que apenas eficiência computacional; exige segurança e transparência. Ao focar em predições duplamente corretas, os autores argumentam que seu método preenche a lacuna entre eficiência e confiabilidade. O trabalho sugere que as estratégias de poda devem evoluir para preservar o elo semântico entre evidência e decisão. Os autores visam estimular a pesquisa em VLMs eficientes que alinhem os avanços baseados em precisão com a transparência, auditabilidade e segurança exigidas para a interação humano-robô responsável e inteligência incorporada. Eles enfatizam que suas descobertas desafiam a suposição de que a poda afeta apenas a eficiência e a precisão, destacando uma nova dimensão de risco onde os modelos se tornam "certos pelos motivos errados" ou falham em utilizar evidências corretas.