TRACE: Temporal Retrieval with Anchored and Convergent Evidence for Long-Horizon Video Understanding

Assistir a um vídeo longo para responder a uma pergunta específica é uma tarefa que parece simples para um ser humano, mas que continua sendo surpreendentemente difícil para a inteligência artificial. Quando uma pessoa assiste a um filme, ela não vê apenas um fluxo de imagens; ela constrói um mapa mental de eventos, lembrando que um personagem pegou uma chave no primeiro ato e que essa chave foi usada para abrir uma porta na cena final. Os sistemas de computação atuais, no entanto, frequentemente lutam com esse tipo de compreensão de longo horizonte. Eles podem olhar para alguns quadros estáticos do vídeo e adivinhar a resposta, ou podem tentar ler um resumo de texto do enredo e perder os detalhes visuais por completo. O problema central é que muitas perguntas sobre vídeos longos dependem de evidências espalhadas por diferentes momentos no tempo. Se um sistema perder mesmo um desses momentos espalhados, ele não poderá saber a verdade, embora ainda possa produzir uma resposta confiante e de aparência correta simplesmente por adivinhação. Essa lacuna entre o que um sistema afirma saber e o que ele realmente viu é o desafio central que os pesquisadores estão tentando resolver.

Uma equipe de pesquisadores introduziu uma nova abordagem chamada TRACE, projetada para forçar a inteligência artificial a olhar para as partes certas de um vídeo antes de responder. Em vez de depender de resumos de texto ou de adivinhar com base em alguns quadros aleatórios, o TRACE atua como um observador cuidadoso que constrói sua resposta peça por peça. Ele começa escaneando o vídeo para encontrar clipes pequenos e específicos, ou "âncoras", que pareçam relevantes para a pergunta. Em seguida, ele agrupa esses clipes e pede ao sistema que responda à pergunta baseando-se apenas no que viu até agora. O sistema não para por aí. Ele continua adicionando novos clipes à sua coleção e refazendo a pergunta. O processo continua apenas até que a resposta pare de mudar, indicando que o sistema reuniu evidência visual suficiente para estar certo. Crucialmente, o sistema verifica seu próprio trabalho reproduzindo o conjunto final de clipes uma última vez para garantir que a resposta se sustente. Este método garante que a resposta final não seja um palpite baseado em uma visão parcial, mas uma conclusão fundamentada em um conjunto completo de fatos visuais.

Para testar se este método realmente funciona, os pesquisadores criaram um novo campo de testes chamado VES-Bench. Esta é uma coleção de 600 perguntas extraídas de 348 vídeos públicos, cobrindo tarefas como descobrir a ordem em que os eventos aconteceram ou contar quantas vezes uma ação específica ocorreu. Ao contrário de testes anteriores que apenas verificavam se a resposta final estava certa ou errada, o VES-Bench audita o próprio processo. Ele rastreia exatamente quais quadros do vídeo o sistema observou antes de tomar sua decisão. O teste verifica se o sistema realmente viu cada um dos momentos necessários para responder à pergunta corretamente. Se um sistema obtém a resposta correta, mas perdeu uma cena crucial, a auditoria o marca como uma falha, porque a resposta não foi verdadeiramente sustentada pela evidência. Esta avaliação rigorosa revela que muitos métodos existentes frequentemente têm sorte, respondendo corretamente sem terem visto todas as partes necessárias do vídeo.

Quando os pesquisadores aplicaram o TRACE a este teste rigoroso, os resultados mostraram uma vantagem clara. Usando a mesma tecnologia subjacente de outros sistemas avançados, o TRACE respondeu corretamente a 50,7 por cento das perguntas enquanto garantia que havia visto pelo menos dois quadros distintos de cada cena necessária. Em comparação, outros métodos que observaram um número semelhante de quadros frequentemente falharam em cobrir todas as cenas necessárias, ou tiveram que observar mais do que o dobro de quadros para alcançar o mesmo nível de certeza. O TRACE alcançou este alto nível de precisão enquanto utilizava menos de 100 quadros por pergunta em média, uma fração do custo exigido por sistemas que simplesmente escaneiam o vídeo em uma taxa uniforme. O estudo descobriu que a chave para o sucesso não era apenas olhar para mais dados, mas saber quando parar de olhar. Ao esperar até que a resposta se estabilizasse e depois conferir a evidência visual bruta, o TRACE evitou a armadilha de adivinhar com base em informações incompletas.

Os pesquisadores também descobriram que simplesmente aumentar o número de quadros que um sistema observa nem sempre leva a melhores respostas. Quando testaram sistemas padrão que observavam cada vez mais quadros, a precisão melhorava apenas até certo ponto, após o qual adicionar mais quadros não ajudava. Isso sugere que o problema não é a falta de dados, mas a falta de uma estratégia para saber quais dados importam. O TRACE resolveu isso usando uma "trajetória" de evidência, onde o sistema aprende a reconhecer quando reuniu informações suficientes para ter certeza. O estudo confirma que, para vídeos longos, a capacidade de localizar e integrar momentos visuais específicos é mais importante do que simplesmente processar uma quantidade massiva de vídeo de uma só vez. Ao fundamentar as respostas em clipes visuais brutos e parar apenas quando a evidência está completa, o TRACE demonstra uma maneira mais confiável para as máquinas entenderem o mundo conforme ele se desenrola no tempo.