🤖 AI

video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM

O artigo apresenta o video-SALMONN S, um LLM de áudio-visual de streaming com memória aprimorada que utiliza treinamento em tempo de teste para converter continuamente representações de curto prazo em memória de longo prazo, permitindo que processe vídeos de mais de 3 horas e supere significativamente modelos existentes em benchmarks de longa duração e aprendizado episódico.

Autores originais: Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

Publicado 2026-02-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô a entender um filme que tem três horas de duração, mas você só pode mostrar a ele um quadro por segundo (uma visão muito lenta e travada) e a imagem é um pouco embaçada (resolução 360p). Além disso, o robô tem um "cérebro" muito pequeno (memória) que só consegue guardar uma quantidade minúscula de informação de cada vez.

A maioria dos robôs de IA atuais esquece o início do filme quando chega ao fim. Este artigo apresenta um novo robô chamado video-SALMONN S que resolve esse problema. Veja como ele funciona, usando analogias simples:

1. O Problema: O "Balde Furado"

Imagine tentar encher um balde com água (informação de vídeo) enquanto o balde tem um furo no fundo.

Os modelos de IA antigos são como baldes com furos grandes. Se você despejar um vídeo de 3 horas, a água (informação) vaza antes de você chegar ao fim. Eles precisam jogar fora a maior parte do vídeo para caber na memória, então esquecem detalhes importantes.
Os modelos de streaming (os melhores atuais) são melhores, mas ainda perdem informação ao longo do tempo porque precisam deletar constantemente dados antigos para abrir espaço para novos dados.

2. A Solução: O "Caderno de Autoedição" (TTT)

O ingrediente secreto do video-SALMONN S é uma técnica chamada Treinamento em Tempo de Teste (TTT - Test-Time Training).

A Analogia: Imagine que você está lendo um livro muito longo. Em vez de apenas ler e esquecer, você tem um caderno mágico. Toda vez que você lê uma nova página, você não apenas a anota; você reescreve seu próprio cérebro com base no que acabou de ler. Você atualiza sua compreensão da história enquanto está lendo.
Como funciona: Conforme o vídeo é reproduzido, o modelo ajusta constantemente suas próprias configurações internas (seus "pesos") para armazenar os detalhes da história. Ele transforma memórias de curto prazo (o que acabou de acontecer) em memórias de longo prazo (a história toda) ao mudar sua própria estrutura. É como se o robô estivesse "aprendendo" o vídeo em tempo real, em vez de apenas assisti-lo.

3. O Truque da "Previsão de Longo Alcance"

Para garantir que o robô não esqueça o início do filme, os autores adicionaram uma regra especial chamada Previsão de Longo Intervalo (Long-Span Prediction).

A Analogia: Imagine que você está jogando "Telefone Sem Fio" com um amigo, mas o jogo dura 3 horas. Normalmente, a mensagem fica distorcida. Este modelo tem uma regra: "Toda vez que você passar uma mensagem, você também deve verificar se ainda consegue se lembrar do que foi dito 30 minutos atrás".
O Resultado: Isso força o robô a manter as partes iniciais do vídeo claras em sua mente, mesmo enquanto está processando os quadros mais recentes.

4. O "Bibliotecário Inteligente" (Leitor de Memória)

Mesmo com um caderno mágico, você não consegue ler todas as páginas de um livro de 3 horas quando alguém faz uma pergunta específica. Isso levaria muito tempo.

A Analogia: Quando um usuário pergunta "O que acontece a seguir?", o robô age como um bibliotecário inteligente. Em vez de buscar em todo o arquivo de 3 horas, ele escaneia rapidamente sua memória, encontra as poucas páginas exatas relevantes para a pergunta e ignora o resto.
O Benefício: Isso mantém o robô rápido e eficiente, mesmo tendo assistido a horas de vídeo.

5. O Novo Teste: "ELViM" (O Desafio da Memória)

Os autores perceberam que os testes existentes eram fáceis demais; eles só perguntavam sobre vídeos que o robô estava assistindo naquele momento. Eles criaram um novo teste chamado ELViM (Aprendizado Episódico de Memória de Vídeo).

O Cenário: O robô assiste a um vídeo de alguém assando um bolo. Depois, ele assiste a 30 minutos de outros vídeos (como documentários sobre a natureza). Por fim, o vídeo do bolo volta, pausado exatamente antes de o padeiro quebrar um ovo.
A Pergunta: "Qual é o próximo passo?"
O Objetivo: O robô deve se lembrar da etapa do bolo de 30 minutos atrás, ignorar os documentários de natureza no meio e responder corretamente.
O Resultado: O video-SALMONN S esmagou este teste, sendo 15% melhor que os melhores modelos anteriores. Ele provou que o robô pode realmente "lembrar" de habilidades que aprendeu horas antes.

Resumo das Conquistas

Ele assiste a vídeos longos: Pode lidar com mais de 3 horas de vídeo a uma baixa taxa de quadros sem ficar sem memória.
Ele lembra melhor: Supera tanto os modelos de "streaming" (que assistem ao vivo) quanto os modelos "offline" (que veem o vídeo inteiro de uma vez) por uma margem significativa (3-7% melhor em testes padrão, 15% melhor no teste de memória).
É eficiente: Não precisa de um supercomputador para fazer isso; ele se ajusta a um orçamento de memória padrão.

Em resumo, o video-SALMONN S é a primeira IA que consegue assistir a um filme longo, aprender com ele e lembrar dos detalhes horas depois, tudo isso mantendo o uso de memória pequeno e constante.

Resumo Técnico: video-SALMONN S

Declaração do Problema

A compreensão de vídeo em streaming de longa duração é uma capacidade crítica para futuros agentes de IA, mas os atuais modelos de LLM de vídeo de última geração (SOTA) enfrentam limitações significativas. A maioria dos modelos existentes opera de maneira offline, exigindo um número fixo de tokens visuais de entrada máximos, o que leva a uma perda substancial de informação para vídeos que excedem esse limite. Embora abordagens de streaming recentes tentem lidar com entradas de vídeo contínuas via fusão de tokens ou downsampling, elas frequentemente incorrem em perda cumulativa de informação ao longo de longas durações (ex: 3+ horas), resultando em desempenho inferior aos modelos offline. Além disso, métodos existentes que dependem de memória externa ou seleção especializada de frames frequentemente requerem designs complexos ou dados de treinamento especializados, limitando a escalabilidade. Uma lacuna fundamental permanece na modelagem de dependências de longo prazo, onde um agente deve aprender conhecimento procedural de fluxos de vídeo observados horas antes e aplicá-lo à tomada de decisão em tempo real.

Metodologia: video-SALMONN S

Os autores propõem o video-SALMONN S, um LLM audiovisual de streaming com memória aprimorada, projetado para processar vídeos que excedem 3 horas a 1 FPS e resolução de 360p sob um orçamento de memória fixo. A inovação central é a integração do Treinamento em Tempo de Teste (Test-Time Training - TTT) como um mecanismo de memória de streaming, uma primeira para LLMs de vídeo.

1. Camada TTTMEM

Em vez de depender apenas da compressão de tokens, o video-SALMONN S emprega uma camada TTTMEM que transforma representações multimodais de curto prazo em memória de longo prazo incorporada nos parâmetros do modelo (pesos rápidos).

Mecanismo: A camada funciona como uma rede neural recorrente que atualiza os pesos rápidos ( $W_t$ ) de um MLP para cada mini-lote de tokens de vídeo recebido ( $X_t$ ).
Funções de Perda: Os pesos são atualizados para minimizar dois objetivos:
1. Perda de Reconstrução Multiview: Reconstrói a entrada atual.
2. Perda de Predição de Longo Alcance (Long-Span Prediction Loss): Prediz entradas de um timestamp distante ( $X_{t-T}$ ), atuando como um regularizador de consistência temporal para evitar a sobreposição de informações históricas críticas.
Gerenciamento de Tokens: Diferente de métodos que fundem tokens (o que pode causar excesso de suavização/over-smoothing), o video-SALMONN S utiliza uma estratégia de descarte baseado em similaridade. Ele combina novos tokens de memória com os anteriores e descarta tokens com a maior similaridade de cosseno em relação aos seus vizinhos, preservando a capacidade de representação de contexto de longo alcance da camada TTT.

2. Esquema de Treinamento em Dois Estágios

Para lidar com as restrições de memória da GPU durante o treinamento com sequências longas, é empregada uma estratégia de dois estágios:

Estágio 1 (Cold-Start): Os parâmetros da TTTMEM (matrizes de projeção) e o LLM são treinados conjuntamente com contextos de comprimento médio para estabelecer o mecanismo de atualização de pesos rápidos.
Estágio 2 (Scale-Up): Os parâmetros de projeção da TTTMEM são congelados, mas a regra de atualização de pesos rápidos é mantida. O modelo é então treinado em sequências significativamente mais longas e com maior contagem de tokens de memória, otimizando a capacidade do LLM de extrair informações da memória expandida.

3. Leitura de Memória Sensível à Modalidade

Para lidar com o orçamento de memória fixo enquanto responde a prompts específicos, o modelo emprega um mecanismo de leitura de memória dependente de prompt e sensível à modalidade.

Em vez de processar todos os tokens de memória, o LLM comprime o cache de Chave-Valor (KV) selecionando apenas os tokens mais relevantes com base nos escores de atenção entre o prompt e os blocos de memória.
Isso mimetiza o processo humano de recuperar informações específicas da memória de longo prazo para a memória de trabalho, garantindo o uso constante de memória enquanto adere às restrições de streaming.

Principais Contribuições

Modelo video-SALMONN S: O primeiro LLM de vídeo em streaming que utiliza o Treinamento em Tempo de Teste (TTT) como um mecanismo de memória. Ele alcança desempenho SOTA em vídeos >3 horas (1 FPS, 360p) sob um orçamento de memória fixo, superando tanto as bases de comparação de streaming quanto as não-streaming.
Camada TTTMEM & Treinamento: Introdução de uma nova camada que incorpora objetivos de predição de longo alcance e um esquema de treinamento de dois estágios para aumentar a modelagem de dependência de longo alcance e a capacidade de memória sem perda de informação.
Benchmark ELViM: O benchmark Episodic Learning from Video Memory (ELViM) é introduzido para avaliar explicitamente se os LLMs de vídeo em streaming podem adquirir conhecimento procedural de experiências de vídeo passadas (observadas horas antes) e reutilizá-lo para tomada de decisão em tempo real. Isso preenche uma lacuna nos benchmarks existentes que focam primariamente em percepção de curto prazo.

Resultados

O modelo foi avaliado em benchmarks de vídeos longos gerais (Video-MME, LVBench, VideoEvalPro) e no proposto benchmark ELViM.

Benchmarks de Vídeos Longos: O video-SALMONN S superou consistentemente as bases de comparação de streaming e não-streaming fortes em 3–7% em precisão absoluta. Especificamente, obteve melhorias de 1,7%, 2,9% e 5,4% sobre seu equivalente não-streaming no Video-MME (Long), LVBench e VideoEvalPro, respectivamente.
Desempenho ELViM: O modelo demonstrou uma melhoria de 15% em precisão absoluta sobre modelos não-streaming fortes no ELViM, destacando sua capacidade superior de aprender e recordar a memória de vídeo.
Eficiência: A camada TTTMEM adiciona um overhead mínimo (aprox. 0,1s) ao tempo de inferência, e o modelo mantém uma pegada de memória GPU fixa (~24GB para 16k tokens) comparável aos métodos de streaming de base.
Estudos de Ablação: Demonstrou-se que a perda de predição de longo alcance é crítica para reter informações ao longo de distâncias temporais longas. O mecanismo de leitura sensível à modalidade proporcionou melhorias consistentes sobre os métodos de compressão de cache KV livres de treinamento, como o AdaReTaKe.

Significância e Alegações

O artigo afirma que o video-SALMONN S representa um passo significativo em direção aos futuros agentes de IA capazes de operar continuamente sobre entradas de streaming com memória limitada. Ao mudar da compressão estática de tokens para uma memória dinâmica baseada em parâmetros via TTT, o modelo mitiga a perda cumulativa de informação inerente às abordagens de streaming atuais.

A introdução do benchmark ELViM é destacada como uma ferramenta de avaliação principiológica para aprendizado contínuo e memória de longo prazo em sistemas multimodais, indo além de tarefas simples de percepção para avaliar a capacidade de um agente de aprender habilidades procedurais a partir de experiências audiovisuais estendidas. Os autores posicionam este trabalho como fundamental para aplicações que exigem tomada de decisão de longo horizonte, assistência instrucional e ferramentas de acessibilidade para usuários que dependem de informações audiovisuais estendidas.