💻 computer science

PercepCap: Video Captioner with Structured Spatio-Temporal Perception

O PercepCap é um novo framework de legendagem de vídeo que aprimora a compreensão espaço-temporal ao gerar explicitamente um traço de percepção de trajetórias de objetos e eventos antes de produzir a legenda final, apoiado por uma estratégia de treinamento de dois estágios e um pipeline de construção de dados ancorado em legendas para garantir o alinhamento entre a evidência perceptiva e a saída descritiva.

Autores originais: Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang

Publicado 2026-07-23

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yifan Xu, Zihao Wang, Zhixiao Wang, Jiaming Zhang, Yichun Yang, Desen Meng, Yuanxing Zhang, Pengfei Wan, Limin Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a assistir a um filme e escrever uma crítica. No mundo da inteligência artificial, essa tarefa é chamada de "legendagem de vídeo" (video captioning). Por muito tempo, os robôs mais inteligentes (conhecidos como Modelos de Linguagem de Grande Escala Multimodais, ou MLLMs) têm melhorado nisso, mas eles têm uma fraqueza secreta: eles são como mágicos que tiram um coelho de dentro de um chapéu sem mostrar como o fizeram. Eles olham para o vídeo e imediatamente cospem uma frase como: "Um cachorro corre pelo campo". Mas eles não mostram o seu trabalho. Eles não dizem qual cachorro, onde exatamente ele estava correndo, ou quando começou e terminou. Se o robô cometer um erro — por exemplo, se ele achar que o cachorro estava correndo para trás — o erro fica escondido dentro da frase final, tornando difícil de corrigir. Os cientistas se preocupam com isso porque, se quisermos que os robôs realmente entendam o mundo, precisamos saber como eles o veem, não apenas o que eles dizem sobre ele.

Apresentamos o PercepCap, um novo framework que atua como um detetive para robôs de vídeo. Em vez de deixar o robô saltar diretamente para a crítica final, o PercepCap força o robô a primeiro escrever suas "notas de detetive". Antes de escrever a legenda final, ele deve listar explicitamente as pistas que encontrou: "Vejo um cachorro (ID: 123) movendo-se do lado esquerdo da tela para o lado direito entre os segundos 2 e 5". Essa cadeia de "perceber-então-descrever" torna o pensamento do robô visível. Os pesquisadores descobriram que, ao forçar o robô a mostrar sua evidência espaço-temporal (onde as coisas estão e quando acontecem) antes de escrever a história, a descrição final torna-se muito mais precisa e detalhada. Eles não apenas adivinharam que isso funcionaria; eles treinaram um modelo usando um processo especial de duas etapas e o testaram em vários benchmarks desafiadores, mostrando que essa abordagem de "mostrar o seu trabalho" supera consistentemente os métodos antigos de "apenas adivinhar a resposta".

O Caderno do Detetive: Como o PercepCap Funciona

Pense na forma antiga de legendagem de vídeo como um aluno fazendo uma prova que só tem permissão para escrever a resposta final em uma folha de respostas. Se o aluno errar, o professor não tem ideia se ele leu a pergunta errado, esqueceu um fato ou apenas chutou. O novo método, PercepCap, é como dar a esse aluno um rascunho.

A Etapa de "Percepção" (O Rascunho)
Primeiro, o robô assiste ao vídeo e preenche um "caderno de detetive" estruturado. Isso não é apenas uma lista aleatória; é um registro estrito e organizado de duas coisas:

Trajetórias de Objetos: Ele rastreia objetos específicos (como uma pessoa ou um carro) e escreve exatamente onde eles estão na tela em diferentes momentos.
Eventos Temporais: Ele nota quando ações específicas acontecem, marcando o tempo exato de início e término.

A Etapa de "Descrição" (O Relatório Final)
Somente após o caderno estar cheio é que o robô escreve a legenda final. Ele usa as notas do rascunho como um guia. Como o robô já fez o trabalho duro de identificar e cronometrar os eventos, a história final tem muito menos probabilidade de conter alucinações ou detalhes ausentes.

A Receita Secreta: Como Eles Ensinaram o Robô

Você pode se perguntar: "Onde o robô aprendeu a preencher este caderno se ninguém lhe deu cadernos antes?" Os pesquisadores tiveram que inventar uma maneira inteligente de criar dados de treinamento, que eles chamam de Construção de Dados de Percepção Ancorados à Legenda (Caption-Anchored Perception Data Construction).

Imagine que você tem uma crítica de filme perfeita escrita por um especialista humano, mas ela não possui carimbos de tempo ou etiquetas de localização. Os pesquisadores pegaram essa crítica e pediram a uma IA superinteligente para voltar e assistir ao filme novamente, desta vez procurando especificamente pelas coisas mencionadas na crítica.

Âncora: Eles começaram com a legenda final (a "âncora").
Extração: Eles extraíram os nomes dos objetos e eventos mencionados.
Fundamentação: Eles fizeram a IA assistir ao vídeo novamente para encontrar exatamente onde e quando essas coisas específicas aconteceram, desenhando caixas ao redor delas e adicionando carimbos de tempo.

Isso criou um conjunto de treinamento perfeito onde a legenda final e as "notas de detetive" combinavam perfeitamente.

O Campo de Treinamento de Duas Etapas

Para ensinar o robô esta nova forma de pensar, os pesquisadores usaram uma estratégia de treinamento de duas etapas:

Etapa 1: Ajuste Fino Supervisionado (A Fase de "Aprender as Regras")
Eles mostraram ao robô milhares desses exemplos perfeitos (legenda + notas correspondentes) e o ensinaram a imitar o processo. O robô aprendeu: "Primeiro, devo listar as pistas. Depois, escrevo a história". Isso é chamado de Ajuste Fino Supervisionado de Perceber-então-Descrever (PD-SFT).
Etapa 2: Aprendizado por Reforço (A Fase de "Ganhar uma Estrela de Ouro")
Apenas copiar não é suficiente; o robô precisa melhorar. Aqui, eles usaram um método chamado Aprendizado por Reforço Baseado na Percepção (PG-RL). Imagine um professor avaliando o trabalho do robô em duas categorias separadas:
- As Notas: Você rastreou os objetos corretamente? Você acertou os tempos de início e fim?
- A História: A legenda final é precisa e completa?
O robô recebe uma "pontuação" baseada em ambos. Se ele escreve uma ótima história, mas esqueceu um objeto importante em suas notas, ele recebe uma pontuação menor. Isso força o robô a se importar com a qualidade de sua percepção, não apenas com o fluxo de suas frases.

Os Resultados: Isso Realmente Funciona?

Os pesquisadores testaram o PercepCap em vários desafios de compreensão de vídeo, incluindo DREAM-1K, CaReBench, ShortVidBench e MotionBench. Eles compararam seu novo modelo contra a linha de base Qwen3-VL (um modelo existente poderoso que apenas escreve legendas diretamente).

Os resultados foram claros: o PercepCap superou consistentemente a linha de base.

No DREAM-1K, alcançou um escore F1 de 33,9 (comparado aos 29,1 da linha de base), o que significa que foi melhor em capturar os detalhes corretos sem inventar coisas falsas.
No CaReBench, melhorou significativamente a precisão na identificação de ações e objetos.
Mesmo no ShortVidBench e no MotionBench, que testam quão bem uma legenda pode responder perguntas sobre um vídeo, o PercepCap obteve pontuações mais altas (por exemplo, 76,1% de precisão contra 72,8% da linha de base).

Por Que Isso Importa (E O Que Ele Ainda Não Consegue Fazer)

A principal conclusão é que fazer um robô "mostrar o seu trabalho" antes de falar o torna mais inteligente e confiável. Ao separar o ato de ver (percepção) do ato de falar (legendagem), os pesquisadores criaram um sistema que é mais fácil de depurar e mais difícil de enganar.

No entanto, o artigo é honesto sobre seus limites. Como os dados de treinamento foram criados por IA (o método "Ancorado à Legenda"), se a IA inicial cometeu um erro nas notas, esse erro poderia ser passado para o robô. Além disso, este método leva mais tempo e poder computacional porque o robô tem que escrever uma longa lista de notas antes de poder escrever a frase final. Mas, para quem deseja uma IA de vídeo que não apenas adivinha, mas que realmente entende a linha do tempo e a localização dos eventos, o PercepCap sugere uma nova direção muito promissora.

Resumo Técnico: PercepCap

Declaração do Problema

A legenda de vídeos requer uma compreensão espaço-temporal detalhada, abrangendo a localização espacial de objetos e o sequenciamento temporal de eventos. Os Modelos de Linguagem de Grande Escala Multimodais (MLLMs) existentes tipicamente empregam um paradigma de geração apenas de legendas, mapeando entradas de vídeo diretamente para descrições textuais finais. Esta abordagem torna a etapa de percepção implícita, o que significa que o modelo identifica objetos, ações e relações temporais dentro de um único processo autorregressivo sem expor a evidência subjacente. Consequentemente, erros na identidade do objeto, reconhecimento de ação ou ordenação temporal tornam-se visíveis apenas na saída final, dificultando a identificação, supervisão ou correção de falhas perceptivas específicas. Além disso, os sinais de supervisão padrão aplicados apenas à legenda final não fornecem feedback direto sobre se a percepção subjacente do modelo está correta.

Metodologia

Para abordar essas limitações, os autores propõem o PercepCap, um framework de percepção consciente que separa explicitamente a percepção espaço-temporal da geração de legendas. A inovação central é uma cadeia de geração de perceber–descrever, onde o modelo primeiro produz um traço de percepção estruturado e, em seguida, gera a legenda final condicionada a esta evidência.

1. Percepção Espaço-Temporal Estruturada

O framework reformula a sequência de saída como $Y = [Y_{perc}, Y_{cap}]$ , onde $Y_{perc}$ é um traço estruturado contendo:

Evidência de Objeto: Identidades temporalmente consistentes, rótulos semânticos e sequências de localização (caixas delimitadoras 2D com carimbos de tempo).
Evidência de Evento: Segmentos temporais (tempos de início/fim) com descrições textuais concisas, vinculados aos objetos rastreados.

2. Estratégia de Treinamento de Dois Estágios

O PercepCap utiliza um pipeline de Ajuste Fino por Reforço (RFT) de dois estágios:

Ajuste Fino Supervisionado de Perceber-então-Descrever (PD-SFT): Este estágio adapta o modelo da geração direta de legendas para a cadeia de perceber–descrever. Utiliza perda de entropia cruzada de próximo token em sequências alvo serializadas para ensinar o modelo a gerar trajetórias de objetos e eventos fundamentados temporalmente antes de produzir a legenda final.
Aprendizado por Reforço Baseado em Percepção (PG-RL): Para superar as limitações da supervisão de token único (que não consegue distinguir entre erros de percepção e erros de legendagem), o PG-RL emprega Otimização de Política Relativa de Grupo (GRPO). Ele utiliza uma função de recompensa composta que decompõe o feedback em:
- Recompensas de nível de percepção: IoU espacial ( $R_{iou}$ ) para localização de objetos, IoU temporal ( $R_{tiou}$ ) e Sobreposição Semântica ( $R_{sodam}$ ) para tempo e descrição de eventos.
- Recompensas de nível de legenda: $R_{cap}$ avalia a cobertura de objetos e eventos no texto final em relação ao solo verdadeiro (ground truth).
- Recompensas de formato: $R_{format}$ garante que a saída adira a uma estrutura JSON estrita.

3. Construção de Dados de Percepção Ancorados em Legendas

Como os conjuntos de dados padrão carecem de anotações de percepção intermediárias, os autores introduzem um pipeline para construir dados de treinamento alinhados com legendas:

Geração de Âncora de Legenda: Um modelo de vídeo robusto gera uma descrição de apenas legenda ( $Y^*_{cap}$ ).
Extração de Conteúdo: O modelo extrai rótulos de objetos e descrições de eventos desta legenda.
Complementação Fundamentada em Vídeo: O modelo revisita o vídeo para atribuir identidades, prever caixas delimitadoras com carimbo de tempo para objetos e prever tempos de início/fim para eventos.
Montagem: Os dados espaciais/temporais fundamentados são combinados com a legenda original para formar o par de treinamento estruturado $Y^* = [Y^*_{perc}, Y^*_{cap}]$ .

Principais Contribuições

Framework de Percepção Consciente: O artigo introduz um paradigma que transforma a legenda de vídeo em um processo de geração baseado em evidências, ao fornecer explicitamente um traço de percepção espaço-temporal estruturado (trajetórias de objetos e limites de eventos) antes da legenda final.
PD-SFT e PG-RL: Uma estratégia de treinamento de dois estágios que primeiro adapta o modelo à cadeia de perceber–descrever e depois o otimiza usando recompensas decompostas que avaliam separadamente a fundamentação da percepção e a qualidade da legenda.
Construção de Dados Ancorados em Legendas: Um pipeline de dados inovador que gera dados de percepção estruturados alinhados com legendas finais, permitindo o treinamento de modelos que requerem supervisão perceptiva intermediária.

Resultados

O PercepCap foi avaliado em múltiplos benchmarks, incluindo DREAM-1K, CaReBench, ShortVidBench, MotionBench e VidCapBench-AE.

Desempenho: O modelo supera consistentemente a linha de base Qwen3-VL (um modelo open-source de 8B) em todos os benchmarks. Por exemplo, no DREAM-1K, o PercepCap alcançou um F1 score de 33.9 comparado aos 29.1 da linha de base. No CaReBench, melhorou o F1 de Ação para 39.4 e o F1 de Objeto para 34.7.
Estudos de Ablação: Experimentos confirmaram que os ganhos não se devem meramente a ajuste fino adicional ou supervisão de legenda mais forte. Variantes que usavam apenas recompensas de nível de legenda ou paradigmas de geração apenas de legenda tiveram desempenho significativamente inferior ao pipeline completo do PercepCap, demonstrando a necessidade do traço de percepção explícito e da abordagem de treinamento em estágios.
Análise Qualitativa: Comparações visuais mostram que o PercepCap distingue melhor entidades chave e segue cadeias de ação (ex: transferência de objetos) de forma mais fiel do que as linhas de base de legendagem direta.

Significância

O artigo argumenta que a legendagem de vídeo detalhada beneficia-se de expor o processo de "raciocínio" do modelo. Ao tornar a evidência perceptiva explícita, o PercepCap permite:

Supervisão Direcionada: Erros podem ser atribuídos a estágios específicos (percepção vs. verbalização), permitindo sinais de treinamento mais precisos.
Auditabilidade: O traço estruturado torna o entendimento do modelo sobre o vídeo inspecionável, preenchendo a lacuna entre a entrada de vídeo bruto e a saída de linguagem natural.
Melhor Fundamentação: O framework garante que a legenda final seja estritamente condicionada a trajetórias de objetos e limites de eventos verificados, levando a uma maior cobertura e precisão na descrição de conteúdos de vídeo complexos.

Os autores concluem que os traços de percepção estruturados servem como uma interface intermediária prática, tornando a legendagem de vídeo mais fundamentada, auditável e eficaz para tarefas de compreensão detalhada.