🤖 AI

AdaptToken: Entropy-based Adaptive Token Selection for MLLM Long Video Understanding

O artigo apresenta o AdaptToken, uma framework sem treinamento que utiliza a incerteza do modelo e a entropia para selecionar adaptativamente tokens e realizar a parada antecipada em vídeos longos, melhorando significativamente a precisão e a eficiência de modelos MLLM em benchmarks de compreensão de vídeo.

Autores originais: Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

Publicado 2026-03-31

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Haozhe Qi, Kevin Qu, Mahdi Rad, Rui Wang, Alexander Mathis, Marc Pollefeys

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você precisa encontrar uma agulha em um palheiro, mas o palheiro é um vídeo de 2 horas de duração e a agulha é uma informação específica que você precisa responder a uma pergunta.

Os modelos de Inteligência Artificial atuais (chamados MLLMs) são como gênios muito inteligentes, mas com uma memória de curto prazo limitada. Se você tentar jogar o vídeo inteiro de uma vez na memória deles, eles "explodem" de tanto processar dados ou esquecem o começo da história antes de chegar ao final.

Aqui está a explicação simples do AdaptToken, a nova solução apresentada no artigo, usando analogias do dia a dia:

1. O Problema: O "Buffet" Infinito

Antes, para entender um vídeo longo, os pesquisadores tentavam duas coisas:

Escolher apenas alguns quadros (imagens): Era como tentar entender um filme inteiro olhando apenas 10 fotos aleatórias. Você perdia detalhes importantes.
Tentar processar tudo: Era como tentar comer um buffet de 100 pratos de uma só vez. O estômago (memória do computador) não aguenta, e você se afoga em comida (dados) que não precisa.

Além disso, os métodos antigos olhavam para cada pedaço do vídeo isoladamente, sem saber se aquele pedaço era realmente importante para a pergunta que você fez.

2. A Solução: O Detetive Inteligente (AdaptToken)

O AdaptToken funciona como um detetive muito esperto e econômico que assiste ao vídeo em grupo, em vez de tentar ver tudo de uma vez. Ele usa três truques principais:

A. O "Termômetro de Confiança" (Entropia)

Imagine que o detetive assiste a um pequeno trecho do vídeo (um "grupo" de quadros) e tenta responder à sua pergunta mentalmente.

Se o detetive ficar confuso e inseguro (alta "entropia" ou incerteza), significa que aquele trecho provavelmente não tem a resposta. É como se ele dissesse: "Hum, não vi nada útil aqui, vou gastar pouco tempo analisando isso."
Se o detetive ficar muito confiante (baixa entropia), significa que ele encontrou pistas importantes. É como se ele dissesse: "Ah! Aqui está a resposta! Vou gastar mais tempo e atenção examinando cada detalhe deste trecho."

O AdaptToken usa essa confiança para decidir quanto "espaço de memória" (orçamento de tokens) dar para cada parte do vídeo. Trechos importantes ganham mais "luzes" e atenção; trechos chatos ganham menos.

B. A Peneira Dupla (Seleção de Tokens)

Dentro de cada trecho, o modelo não olha para cada pixel. Ele usa uma "peneira" (atenção cruzada) para pegar apenas as partes visuais que realmente respondem à pergunta.

Analogia: Se a pergunta é "O que a pessoa está comendo?", o modelo ignora o fundo, as roupas e o céu, e foca apenas no prato e na comida. Ele descarta o "lixo" visual.

C. O "Pulo do Gato" (Parada Antecipada)

Esta é a parte mais genial do AdaptToken-Lite.
Imagine que você está procurando uma chave perdida no seu quarto. Você começa a revirar a gaveta da mesa de cabeceira. De repente, você encontra a chave.

Métodos antigos: Continuam revirando o resto do quarto (armário, debaixo da cama, guarda-roupa) por precaução, gastando tempo e energia à toa.
AdaptToken: Assim que o detetive encontra a chave (ou seja, quando a confiança do modelo fica alta em vários trechos), ele para imediatamente. Ele diz: "Já tenho evidências suficientes, não preciso ver o resto do vídeo." Isso economiza metade do tempo de processamento.

3. Por que isso é incrível?

Funciona em vídeos gigantes: O método consegue lidar com vídeos de 10.000 quadros (horas de duração) sem "quebrar" o computador.
É mais rápido e mais preciso: Ao focar apenas no que importa e parar quando já sabe a resposta, ele é mais rápido que os métodos atuais e ainda acerta mais perguntas.
Não precisa de treino: É como um "plug-and-play". Você pode usar com qualquer modelo de IA existente sem precisar reensiná-lo do zero.

Resumo em uma frase

O AdaptToken é como um assistente de IA que assiste a vídeos longos de forma inteligente: ele foca apenas nas partes onde a resposta está escondida, ignora o tédio e para de assistir assim que já sabe a resposta, economizando tempo e energia enquanto acerta mais do que os métodos antigos.

Título: AdaptToken: Seleção Adaptativa de Tokens Baseada em Entropia para Compreensão de Vídeos Longos em MLLMs

1. O Problema

A compreensão de vídeos longos (ex: vídeos de uma hora ou mais) representa um desafio significativo para os Modelos de Linguagem Multimodal (MLLMs). As principais limitações são:

Custos de Memória e Limites de Contexto: Processar milhares de quadros gera um número massivo de tokens visuais, esgotando rapidamente a janela de contexto e a memória disponível.
Ineficiência das Abordagens Atuais:
- Seleção de Quadros: Métodos que selecionam quadros inteiros baseados no prompt muitas vezes retêm regiões irrelevantes dentro dos quadros escolhidos, diluindo o sinal útil.
- Seleção de Tokens: Métodos existentes que selecionam tokens visuais geralmente operam localmente (dentro de quadros individuais ou clipes curtos), carecendo de um mecanismo global para comparar a relevância entre clipes distantes no tempo.
- Falta de Parada Antecipada: A maioria dos métodos processa todos os quadros amostrados, mesmo quando o modelo já possui evidências suficientes para responder com precisão, desperdiçando recursos computacionais.

2. Metodologia (AdaptToken)

O AdaptToken é um framework training-free (sem necessidade de re-treinamento) e agnóstico ao modelo que transforma a auto-incerteza do MLLM em um sinal de controle global para a seleção de tokens. O processo divide-se em quatro etapas principais:

A. Divisão e Processamento por Grupos
O vídeo longo é dividido em grupos de quadros. Para evitar gargalos de memória, o modelo processa esses grupos sequencialmente ou de forma intercalada (estratégia de "margem máxima" para diversidade).

B. Estimativa de Relevância Global via Entropia de Resposta

Hipótese: Se um grupo de quadros contém evidências relevantes para o prompt, o modelo deve gerar uma resposta mais confiante (menor entropia). Se o grupo for irrelevante, a incerteza (entropia) será alta.
Mecanismo: Para cada grupo processado, o AdaptToken calcula a entropia da distribuição de probabilidade das tokens geradas pelo modelo.
- Baixa entropia = Alta confiança = Grupo altamente relevante.
- Alta entropia = Baixa confiança = Grupo pouco relevante.
Validação: Experimentos de "Agulha no Palheiro" (Needle-in-a-Haystack) e benchmarks reais confirmam que grupos contendo a "agulha" (informação crítica) produzem respostas com entropia significativamente menor.

C. Seleção Adaptativa de Tokens (Orçamento Global)
O sistema utiliza a entropia para alocar um orçamento de tokens de forma desigual entre os grupos:

Orçamento por Grupo: Um orçamento total de tokens ( $B$ ) é definido para o vídeo. Esse orçamento é distribuído entre os grupos ( $B_g$ ) usando uma função Softmax baseada nas pontuações de certeza (entropia) de cada grupo. Grupos mais relevantes recebem mais tokens.
Seleção Intra-Grupo: Dentro de cada grupo, a importância dos tokens visuais é avaliada usando a atenção cruzada (cross-modal attention) de uma camada tardia do MLLM, que captura melhor a semântica do prompt complexo.
Remoção de Tokens Globais (Diversidade): Para evitar redundância temporal (ex: quadros consecutivos muito similares), aplica-se uma etapa de remoção baseada na similaridade cosseno das características dos tokens e na distância temporal, garantindo cobertura temporal diversificada.

D. Parada Antecipada (AdaptToken-Lite)

O framework monitora a certeza dos grupos processados.
Critério de Parada: Se múltiplos grupos (configuração padrão: 3 grupos) atingirem uma pontuação de entropia suficientemente baixa (alta confiança), o sistema assume que evidências suficientes foram coletadas.
Ação: Os grupos restantes são ignorados, interrompendo o processamento e reduzindo drasticamente o tempo de inferência.

3. Principais Contribuições

Seleção de Tokens Globalmente Informada: Propõe um mecanismo que não apenas seleciona tokens locais, mas aloca recursos (orçamento de tokens) globalmente entre grupos distantes baseando-se na relevância estimada pelo modelo.
Parada Antecipada Baseada em Entropia: Introduz uma estratégia de early stopping que permite ao modelo "decidir" quando parar de olhar para o vídeo, economizando até 50% do tempo de inferência sem perda de desempenho.
Framework Training-Free: Funciona com MLLMs existentes (de 7B a 72B parâmetros) sem necessidade de ajuste fino (fine-tuning), utilizando apenas a lógica de inferência e métricas de incerteza.
Escalabilidade Extrema: Demonstra capacidade de processar entradas com até 10.000 quadros, mantendo ou melhorando a precisão, algo que métodos anteriores não conseguiam fazer em tarefas finais (apenas em testes de "agulha no palheiro").

4. Resultados Experimentais

O método foi avaliado em quatro benchmarks de vídeos longos (VideoMME, MLVU, LongVideoBench, LVBench) e em múltiplos modelos base (InternVL2.5, Qwen2.5-VL, Qwen3-VL).

Desempenho de Precisão:
- No modelo Qwen2.5-VL 7B, o AdaptToken obteve uma melhoria média de +6.7 pontos sobre a linha de base, superando consistentemente todos os métodos state-of-the-art (SOTA) em todos os benchmarks.
- No modelo InternVL2.5 8B, houve uma melhoria média de +5.6 pontos.
- O método continua a melhorar o desempenho mesmo com 10.000 quadros de entrada, especialmente no LVBench (vídeos ultra-longos).
Eficiência (AdaptToken-Lite):
- A versão com parada antecipada reduz o tempo de inferência em aproximadamente 50% (ex: de 17.8s para 8.6s no VideoMME) mantendo uma precisão comparável à versão completa.
Comparação com Votação:
- O AdaptToken supera significativamente estratégias de agregação baseadas em votação (maioria, Borda, ponderada), provando que a certeza do modelo é mais eficaz quando usada para selecionar entradas do que apenas para agregar respostas finais.

5. Significância e Impacto

O AdaptToken resolve um gargalo fundamental na aplicação de MLLMs a vídeos longos: a tensão entre a necessidade de processar grandes quantidades de dados e as limitações de hardware.

Viabilidade Prática: Permite que modelos atuais, que normalmente falham com vídeos longos, processem horas de conteúdo com alta precisão e custo computacional viável.
Inteligência de Inferência: Introduz um paradigma onde o modelo usa sua própria incerteza para guiar a eficiência computacional, decidindo dinamicamente "o que olhar" e "quando parar".
Generalização: A abordagem é aplicável a diversas arquiteturas e escalas de modelos, tornando-se uma solução robusta para agentes multimodais, assistentes robóticos e análise de grandes volumes de vídeo.

Em resumo, o AdaptToken transforma a incerteza do modelo em um sinal de controle inteligente, permitindo uma compreensão de vídeo longa que é simultaneamente mais precisa, mais rápida e escalável para cenários do mundo real.