💻 computer science

VEGAS: Human-Aligned Video Caption Evaluation via Gaze

O artigo apresenta o VEGAS, uma métrica cross-modal livre de treinamento que aproveita dados de olhar sincronizados para avaliar e selecionar legendas de vídeo que melhor se alinhem à atenção de visualizadores individuais, melhorando assim a qualidade das legendas e as tarefas de recuperação subsequentes sem exigir o retreinamento do modelo.

Autores originais: Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Shenghui Chen, Po-han Li, Ximeng Sun, Shijia Yang, Emad Barsoum, Zicheng Liu, Sandeep Chinchali, Ufuk Topcu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um vídeo de alguém cozinhando em uma cozinha. Um robô de legendagem de IA padrão diria: "Uma pessoa está em uma cozinha com um fogão, uma geladeira e um balcão." É tecnicamente verdadeiro, mas é como ler um mapa de toda a cidade quando você só se importa com a rua onde a ação está acontecendo. O bot ignora o que a pessoa realmente olhou.

Apresentamos o VEGAS (Video caption Evaluation via GAze Score). Pense no VEGAS como um "árbitro de atenção" super inteligente que não apenas lê o vídeo; ele observa para onde seus olhos vão enquanto você o assiste.

O Problema: A Legenda "Tamanho Único"

O artigo aponta que os modelos de IA atuais são treinados em uma mistura das opiniões de todos. Eles tentam descrever tudo o que é visível em uma cena. Mas os humanos são exigentes. Se você estiver assistindo a um vídeo de culinária, pode estar olhando atentamente para o pimentão vermelho sendo picado, enquanto ignora a torradeira ao fundo. Uma legenda de IA genérica pode perder o pimentão completamente ou enterrá-lo em uma lista de ruídos de fundo. Isso torna difícil encontrar esse vídeo específico mais tarde se você pesquisar por "picando pimentões vermelhos".

A Solução: O "Filtro de Olhar"

Os autores propõem um truque inteligente chamado VEGAS. Em vez de retreinar a IA (o que é como reconstruir todo o motor de um carro), o VEGAS atua como um filtro ao final do processo.

Veja como funciona com uma analogia divertida:
Imagine que a IA é um chef que escreve cinco receitas diferentes para a mesma refeição.

Receita A: "Eu cozinhei uma refeição." (Muito vaga)
Receita B: "Eu piquei cebola, alho e pimentão." (Específica, mas talvez você não tenha olhado para o alho)
Receita C: "Eu mexi a panela." (Você estava olhando para a panela)

Agora, imagine que você está usando óculos especiais que rastreiam exatamente onde seus olhos pousam. O VEGAS pega seus dados de rastreamento ocular e pergunta ao chef: "Ei, se eu mostrasse apenas as partes do vídeo onde o espectador estava olhando, você ainda seria capaz de escrever esta receita?"

Se a receita menciona o pimentão vermelho e seus olhos estavam colados no pimentão vermelho, o VEGAS diz: "Ótima combinação! Pontuação baixa!" (Neste jogo, uma pontuação menor é melhor).
Se a receita menciona a torradeira, mas seus olhos nunca olharam para a torradeira, o VEGAS diz: "Espere, como você sabia da torradeira? Isso é uma informação extra que você não precisava. Pontuação alta!" (Combinação ruim).

O VEGAS então escolhe a "receita" (legenda) com a pontuação mais baixa — aquela que se ajusta perfeitamente ao seu olhar específico.

O Que Eles Descobriram (A Realidade)

Os pesquisadores testaram isso em dois tipos de vídeos muito diferentes:

Vídeos em primeira pessoa (como alguém andando pela casa fazendo tarefas domésticas).
Slides instrucionais (como uma apresentação de PowerPoint).

A Grande Vitória:
Nos vídeos em primeira pessoa, o VEGAS funcionou como mágica. Quando usaram o "filtro de olhar" para escolher as legendas, as descrições tornaram-se 13,53% mais semelhantes ao que os humanos realmente escreveram.

A Prova: Eles realizaram um teste estatístico (teste de postos sinalizados de Wilcoxon) e obtiveram um resultado de Z = 10,04 com um p-valor < 0,001. Isso significa que a melhoria não foi uma coincidência; foi uma diferença real e mensurável.
O Impulso na Recuperação: Quando usaram essas legendas melhores para pesquisar vídeos, encontraram o vídeo correto 1,14% mais vezes no topo da lista. Se você olhasse mais abaixo na lista (nos 5 ou 10 primeiros resultados), a melhoria saltou para 4,16% e 4,10%, respectivamente.

A Parte do "Depende":
Nos slides instrucionais, os resultados foram um pouco diferentes. A melhoria foi pequena (+3,88%) e o artigo observa que ela não foi estatisticamente significativa (p = 0,0952).

Por quê? Os autores sugerem que, com slides, existem frequentemente muitas maneiras "corretas" de resumir o texto. Mesmo que seus olhos olhem para um gráfico específico, pessoas diferentes podem interpretar o significado daquele gráfico de maneiras diferentes. O olhar diz onde eles olharam, mas não necessariamente como eles interpretaram os conceitos complexos. Portanto, o VEGAS é ótimo para detectar objetos concretos (como um boné vermelho ou um cachorro), mas é menos perfeito para conceitos abstratos.

O Que Eles Descartaram

O artigo foi muito cuidadoso ao verificar se o VEGAS não estava apenas "trapaceando" ao escolher legendas mais curtas ou simples.

Ele apenas escolheu legendas curtas? Não. Eles verificaram a correlação entre a pontuação do VEGAS e o número de palavras, e era basicamente zero (0,001).
Ele apenas escolheu legendas genéricas? Não. A correlação com a "especificidade" (uso de substantivos, verbos, etc.) também foi próxima de zero (0,026).
Precisou de um novo modelo de IA? Não. Eles usaram modelos de IA existentes e poderosos (como Gemini e GPT) e apenas usaram o VEGAS para escolher a melhor opção de uma lista de candidatas. Sem necessidade de retreinamento.

A Conclusão

O VEGAS sugere que, se você quer uma legenda de vídeo que pareça pessoal e ajude você a encontrar o vídeo mais tarde, você não deve apenas perguntar à IA "O que há neste vídeo?". Você deve perguntar: "O que esta pessoa específica olhou?".

O artigo mostra que, ao usar os dados de rastreamento ocular como um filtro, podemos transformar uma descrição de IA genérica em uma personalizada que combina muito melhor com a atenção humana — especialmente quando o vídeo trata de ações do mundo real. Não é uma varinha mágica que resolve tudo (slides ainda são complicados), mas é uma nova ferramenta poderosa que funciona sem a necessidade de reconstruir a IA do zero.

Resumo Técnico: VEGAS – Avaliação de Legendas de Vídeo Alinhada ao Olhar Humano via Gaze

1. Definição do Problema

Modelos de linguagem-visão (VLMs) destacam-se na geração de legendas de vídeo semanticamente precisas, mas tipicamente dependem de anotações de crowdsourcing que agregam diversas interpretações humanas. Consequentemente, esses modelos costam produzir descrições "globalmente corretas" que falham em capturar os padrões de atenção específicos de um espectador individual. Em aplicações como a recuperação indexada por legendas, uma legenda genérica que enfatiza o conteúdo de fundo não assistido pode dificultar que um usuário recupere um vídeo baseado no objeto ou ação específica à qual ele prestou atenção.

O problema central abordado é o desalinhamento entre as legendas geradas e a atenção visual individual. Embora o olhar humano (gaze) forneça um proxy mensurável para a atenção visual, trabalhos anteriores utilizaram o olhar majoritariamente apenas como um sinal de supervisão durante o treinamento. Este artigo investiga se o olhar pode ser aproveitado no tempo de teste para selecionar legendas personalizadas que reflitam o foco de um espectador específico sem o retreinamento do modelo subjacente.

2. Metodologia

2.1 Métrica VEGAS (Video caption Evaluation via GAze Score)

Os autores propõem o VEGAS, uma métrica informacional, cross-modal e livre de treinamento, projetada para quantificar o quão bem uma legenda candidata se alinha com o olhar do espectador.

Formulação: O objetivo é maximizar a informação mútua entre uma legenda $t$ e um sinal de olhar $G$ . Como as distribuições marginais verdadeiras $P(t)$ e $P(G)$ são intratáveis, o VEGAS aproxima isso usando as verossimilhanças condicionais de um VLM pré-treinado e congelado.
Intuição Central: Uma legenda alinhada ao olhar deve ser altamente previsível a partir das regiões atendidas ( $G$ ) isoladamente, com as regiões não atendidas ( $\bar{G}$ ) contribuindo com o mínimo de informação adicional.
Definição: O VEGAS é definido como a informação mútua condicional ponto a ponto entre os tokens da legenda $t$ e as regiões não atendidas $\bar{G}$ , condicionada às regiões atendidas $G$ :
$\text{VEGAS}(c, G) \triangleq I(t; \bar{G} | G) = \log \frac{P_\theta(t | V)}{P_\theta(t | G)}$
Onde $V$ é o vídeo completo e $G$ é o vídeo com o olhar atendido.
Interpretação: Um score VEGAS menor é melhor. Isso indica que a legenda é bem explicada pelas regiões observadas sozinhas. Um score alto implica que a legenda depende fortemente de conteúdo visual fora do foco do espectador.
Decomposição por Token: A métrica se decompõe de forma autorregressiva sobre os tokens, permitindo a identificação de conceitos semânticos específicos suportados ou não pelo olhar do espectador.

2.2 Rejeição Condicionada ao Olhar (Gaze-Conditioned Rejection Sampling)

O VEGAS é usado para selecionar legendas de um conjunto de candidatas geradas por VLMs existentes sem o retreinamento do modelo:

Geração de Candidatas: Múltiplos VLMs geram $N$ legendas candidatas para um vídeo $V$ usando várias temperaturas de decodificação.
Pontuação: Para cada candidata $c_i$ , o score VEGAS é computado usando o sinal de olhar $G$ do espectador.
Seleção: A legenda com o menor score VEGAS é selecionada:
$c^* = \arg \min_{c_1, \dots, c_N} \text{VEGAS}(c_i, G)$
Este processo filtra efetivamente legendas que descrevem conteúdo não assistido, favorecendo aquelas que se alinham ao foco atencional específico do espectador.

3. Curadoria de Dataset

Para avaliar o framework, os autores curaram um dataset multimodal pareando olhar humano sincronizado, conteúdo visual e legendas de texto livre escritas por humanos em dois domínios:

Aria Everyday Activities (AEA): 332 clipes de vídeo egocêntricos derivados de dados de óculos inteligentes Project Aria. Esses clipes capturam tarefas dinâmicas do mundo real (ex: cozinhar, computar) onde o olhar ajuda a resolver ambiguidades concretas de objetos.
SlideVQA: 300 slides instrucionais de 30 decks. Os participantes visualizaram os slides via webcam com rastreamento ocular e forneceram legendas. Este domínio testa o condicionamento pelo olhar em mídia visual densa, onde a abstração conceitual é necessária.

O dataset inclui 2.981 anotações humanas de alta qualidade, capturando a diversidade das variações semânticas impulsionadas pela atenção.

4. Resultados Principais

4.1 Alinhamento Semântico

AEA (Egocêntrico): As legendas selecionadas pelo VEGAS mostraram uma melhoria estatisticamente significativa no alinhamento semântico com as anotações humanas em comparação com as legendas de VLMs ingênuas. A similaridade média SBERT aumentou em +0,0856 (+13,53%) ( $p < 0,001$ ).
SlideVQA: A melhoria foi menor (+0,0256) e não foi estatisticamente significativa ( $p = 0,0952$ ). Os autores atribuem isso à natureza dos slides, onde múltiplas resumos conceituais válidos existem para o mesmo visual, tornando o olhar um seletor mais fraco para interpretações abstratas em comparação com objetos concretos.

4.2 Recuperação Legenda-Vídeo

No dataset AEA, o VEGAS foi usado para construir um índice para recuperação de legenda-vídeo:

Performance: Os índices selecionados pelo VEGAS melhoraram as métricas de recuperação sobre as legendas aleatórias de VLM.
- Precisão/Recall/mAP@1: Melhoria de +1,14%.
- Recall@5: Melhoria de +4,16%.
- mAP@10: Melhoria de +2,46%.
Fechamento de Gap: O VEGAS recuperou aproximadamente 15% do gap entre a seleção aleatória de máquina e a recuperação humano-humano no Rank 1, mas recuperou mais de 40% do gap no Recall@5 e Recall@10. Isso sugere que o VEGAS efetivamente move o vídeo correto para as primeiras posições do ranking, mesmo que nem sempre alcance o topo.

4.3 Ablação e Diagnósticos

Corrupção do Olhar: Substituir o olhar real por um olhar aleatório de outros clipes aumentou significamente o score VEGAS (piorando o alinhamento), confirmando a sensibilidade da métrica aos sinais de olhar corretos.
Viés de Comprimento: A análise de correlação mostrou que o VEGAS não é impulsionado pelo comprimento da legenda ou genericidade; as melhorias não são explicadas pela seleção de legendas mais curtas.
Análise de Nível de Token: Exemplos qualitativos demonstraram que o VEGAS penaliza corretamente tokens que descrevem regiões não assistidas (ex: "jardim" quando o usuário olhou para uma "máquina de lavar") e favorece tokens alinhados com os pontos de fixação.

5. Significância e Alegações

O artigo afirma que o VEGAS demonstra a utilidade prática de incorporar a atenção do espectador durante a inferência. Suas principais contribuições são:

Uma Métrica Livre de Treinamento: Fornece um método para avaliar e selecionar legendas personalizadas sem a necessidade de fine-tuning ou retreinamento de grandes modelos de linguagem-visão.
Condicionamento em Tempo de Teste: Desloca o paradigma de usar o olhar como um sinal de supervisão em tempo de treinamento para um sinal de condicionamento em tempo de teste para personalização.
Especificidade de Domínio: Os resultados destacam que a legendagem condicionada ao olhar é mais eficaz quando a atenção visual ajuda a desambiguar referentes concretos (ex: atividades egocêntricas), mas é menos diagnóstica quando o estímulo suporta muitos resumos conceituais válidos (ex: slides instrucionais).
Melhoria na Recuperação: Ao alinhar as legendas com a atenção individual, o VEGAS melhora o indexamento semântico de vídeos, tornando-os mais recuperáveis com base no que um usuário específico realmente olhou.

Os autores mantêm a modéstia, observando que o VEGAS herda as limitações dos VLMs subjacentes (ex: alucinações) e que o olhar indica onde um espectador olha, mas não necessariamente como eles interpretam relações visuais complexas. Sugere-se que trabalhos futuros explorem proxies de atenção implícita (como modelos de saliência) e a destilação do VEGAS em objetivos de treinamento.