💬 NLP

APB-V: Accelerating Long-Video Understanding via Sequence-Parallelism-aware Approximate Attention

O ABP-V é um framework de paralelismo de sequência que acelera a inferência de vídeos longos em Grandes Modelos Multimodais ao distribuir a atenção aproximada através de múltiplas GPUs, alcançando acelerações significativas sobre métodos existentes sem exigir compressão visual ou sacrificar o desempenho.

Autores originais: Yuxiang Huang, Mingye Li, Xu Han, Chaojun Xiao, Weilin Zhao, Ao Sun, Ziqi Yuan, Hao Zhou, Fandong Meng, Zhiyuan Liu

Publicado 2026-06-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Yuxiang Huang, Mingye Li, Xu Han, Chaojun Xiao, Weilin Zhao, Ao Sun, Ziqi Yuan, Hao Zhou, Fandong Meng, Zhiyuan Liu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca massiva de clipes de vídeo e quer que um assistente de IA superinteligente os assista para responder a uma pergunta específica, como: "Qual foi a palavra secreta sussurrada no carro?"

O problema é que esses vídeos são tão longos e detalhados que a IA fica sobrecarregada. É como pedir a um único bibliotecário para ler cada página de um milhão de livros de uma só vez para encontrar uma única frase. O processo é lento, caro e muitas vezes força o bibliotecário a pular páginas (resumir) apenas para terminar, o que significa que ele pode perder detalhes importantes.

Este artigo apresenta o APB-V, uma nova maneira de organizar os "bibliotecários" (computadores) para que eles possam assistir a esses vídeos longos juntos, de forma rápida e sem perder nada.

Veja como funciona, usando analogias simples:

1. O Problema Antigo: O Gargalo do "Bibliotecário Único"

Atualmente, quando uma IA assiste a um vídeo longo, ela precisa processar cada quadro. Se o vídeo for 1440p (alta definição) e tiver muitos quadros, a quantidade de dados é enorme.

O Gargalo: É como tentar colocar um oceano inteiro dentro de um único copo. O computador fica sem memória ou leva uma eternidade para calcular.
A Solução Antiga: Para tornar o processo mais rápido, as pessoas costumavam dizer à IA: "Apenas olhe para cada 10º quadro" ou "Jogue fora as partes borradas".
A Desvantagem: Isso é como ler um livro, mas pular cada outra página. Você termina mais rápido, mas pode perder a reviravolta da trama ou a palavra secreta. A IA fica mais rápida, mas fica mais "burra".

2. A Nova Solução: APB-V (A "Equipe de Bibliotecários")

O APB-V muda o jogo ao usar múltiplos computadores (GPUs) trabalhando juntos, como uma equipe de bibliotecários dividindo uma tarefa massiva. Mas, em vez de apenas dividir os livros aleatoriamente, eles usam uma estratégia inteligente chamada Paralelismo de Sequência.

Pense no vídeo como um longo trem de vagões.

Paralelismo de Quadros: Primeiro, a equipe divide os quadros do vídeo. Um bibliotecário observa os vagões 1–10, outro os 11–20, e assim por diante. Todos começam a assistir ao mesmo tempo.
O Truque da "Âncora" e da "Passagem": Aqui está a parte mágica. Em uma equipe normal, se o Bibliotecário A precisa saber o que o Bibliotecário B viu há 10 minutos, eles precisam parar e gritar através da sala. Isso leva tempo.
- O Truque do APB-V: Em vez de gritar tudo, o Bibliotecário A grita apenas os pedaços mais importantes ("Blocos de Passagem") para os outros. Eles mantêm uma pequena "Âncora" permanente do início do vídeo.
- O Resultado: Eles não precisam enviar o vídeo inteiro de um lado para o outro. Eles apenas enviam o "melhores momentos" do que é importante. Isso economiza uma quantidade enorme de tempo e tráfego de dados.

3. Equilibrando a Carga (A Estratégia "ZigZag")

Se você apenas dividir o trabalho de forma igual, alguns bibliotecários podem acabar com o trabalho pesado (calculando cenas complexas) enquanto outros têm tarefas fáceis.

A Correção: O APB-V usa um padrão ZigZag. Imagine que os bibliotecários estão organizados em uma linha. O primeiro bibliotecário recebe o primeiro pedaço e o último pedaço, o segundo recebe o segundo e o penúltimo, e assim por diante.
Por quê? Isso garante que todos tenham uma quantidade igual de "pensamento" para fazer, para que ninguém fique esperando a pessoa mais lenta terminar.

4. Os Resultados: Rápido e Preciso

Os autores testaram isso em vídeos enormes (como 64 quadros de resolução 1440p).

Velocidade: Foi 12,7 vezes mais rápido do que o método padrão atual (FlashAttention).
Precisão: Ao contrário dos métodos antigos que pulavam páginas e erravam as respostas, o APB-V manteve todos os detalhes visuais. Ele obteve as respostas tão corretamente quanto se tivesse assistido a todo o vídeo lentamente, mas fez isso em uma fração do tempo.

Resumo

APB-V é como organizar uma equipe de especialistas para assistir a um vídeo de uma maratona. Em vez de uma pessoa lutando para ler cada página, ou todos pulando páginas para terminar rápido, a equipe divide o trabalho, compartilha apenas os destaques críticos e equilibra a carga perfeitamente. O resultado é que eles encontram a resposta super rápido sem perder um único detalhe importante.

O artigo afirma que isso é especificamente para compreensão de vídeos longos em múltiplos computadores (como em centros de dados para vigilância ou direção autônoma), e não funciona em um único computador porque a magia depende do esforço da equipe.

Resumo Técnico: APB-V

Declaração do Problema

A eficiência da inferência de vídeos longos em Modelos Multimodais Grandes (LMMs) continua sendo um gargalo crítico. À medida que a duração do vídeo aumenta, o número de quadros cresce, levando a um tamanho de lote maior para o codificador visual e um aumento significativo no número de embeddings visuais gerados. Como as camadas de atenção nos backbones de LLM exibem complexidade quadrática ( $O(n^2)$ ) em relação ao comprimento da entrada, esses embeddings adicionais estendem drasticamente a sequência de entrada, retardando a velocidade de inferência e aumentando os custos computacionais.

As soluções existentes geralmente se dividem em duas categorias, ambas enfrentando limitações:

Otimização de Atenção Intrínseca: Métodos que otimizam o mecanismo de atenção ou reduzem o tamanho do cache Key-Value (KV) dentro do LLM. Estes falham em abordar os custos computacionais do codificador visual e das redes de feed-forward (FFNs).
Redução Explícita de Entrada: Métodos que comprimem embeddings visuais via poda de tokens (token pruning) ou agrupamento (pooling). Embora eficazes na redução do comprimento da sequência, essas abordagens frequentemente sacrificam detalhes finos do vídeo, levando a uma degradação significativa de desempenho (ex: queda de ~25% na precisão em alguns casos) e falhando em alcançar ganhos de eficiência satisfatórios sem comprometer a qualidade.

Abordagens de GPU única lutam para superar o equilíbrio entre eficiência e desempenho, necessitando de uma dimensão de escalonamento que aproveite múltiplas GPUs enquanto suprime a complexidade quadrática.

Metodologia: APB-V

Os autores propõem o APB-V, um framework de atenção aproximada consciente de paralelismo de sequência, projetado para acelerar a inferência de vídeos longos através de múltiplas GPUs (hosts). O framework integra três componentes principais:

1. Design do Framework

Paralelismo de Quadros (Frame Parallelism): Inspirado pelo LONGVILA, o codificador visual processa os quadros do vídeo de forma independente. O APB-V distribui esses quadros entre múltiplos hosts para lidar com a alta intensidade computacional.
Divisão de Contexto e Arranjo ZigZag: Os embeddings de entrada são particionados em um Bloco Âncora ( $B_a$ ), um Bloco de Consulta ( $B_{qr}$ ) e Blocos de Contexto ( $B^{(h)}$ ). Para abordar o desequilíbrio em modelos apenas-decoder, onde os tokens iniciais atendem a mais contexto do que os posteriores, o APB-V emprega um arranjo estilo ZigZag. Isso mapeia hosts físicos para pares de hosts virtuais (ex: host $h$ e $2H-1-h$ ) para garantir cargas de computação de atenção equilibradas.
Mecanismo de Atenção Aproximada: Em vez de computar atenção densa em todos os tokens, o APB-V utiliza uma estratégia de compressão de cache KV local:
- Bloco Âncora: Um segmento inicial fixo de embeddings.
- Blocos de Passagem (Passing Blocks): Para cada host, os pares Key-Value mais essenciais dos hosts anteriores são identificados via escores de atenção query-to-context e agregados em "blocos de passagem".
- Computação: A atenção é computada sobre a Âncora, o Contexto local, os Blocos de Passagem agregados e a Consulta (Query). Crucialmente, o conjunto completo de embeddings visuais é preservado (sem redução de entrada), mas a comunicação entre hosts é comprimida apenas para os pares KV essenciais.

2. Otimizações de Sistema

Para maximizar a eficiência, o APB-V incorpora quatro otimizações específicas de sistema:

Balanceamento de Carga Visual: Os quadros são distribuídos uniformemente entre os hosts virtuais para evitar gargalos na etapa de codificação visual.
Forward Fundido de Contexto e Consulta: Diferente de métodos anteriores que processam contexto e consulta separadamente (frequentemente limitados por memória para consultas curtas), o APB-V funde ambos em uma única passagem forward, mesclando resultados parciais de consulta usando as saídas lse (log-sum-exp) do FlashAttention.
Balanceamento de Carga de Atenção Aproximada: O mapeamento ZigZag garante que o comprimento total dos blocos de passagem seja equilibrado entre os hosts físicos, evitando cargas de trabalho desiguais.
Comunicação Sobreposta (Overlapped Communication): A transferência de blocos de passagem e resultados parciais de atenção da consulta é realizada simultaneamente aos cálculos de atenção, ocultando a latência de comunicação.

Principais Contribuições

Framework APB-V: A introdução de um framework de paralelismo de sequência que utiliza compressão de cache KV local e atenção aproximada distribuída. Isso estabelece um equilíbrio entre eficiência e desempenho ao evitar a compressão de entrada enquanto reduz a computação.
Otimizações de Sistema: O design de uma estratégia de balanceamento de carga e um mecanismo de atenção de dois estágios onde a comunicação se sobrepõe perfeitamente à computação, liberando significativamente o potencial da inferência multi-GPU.
Avaliação Abrangente: Benchmarking extensivo demonstrando que o APB-V alcança o melhor equilíbrio entre desempenho e eficiência em comparação com as linhas de base existentes.

Resultados Experimentais

Os autores avaliaram o APB-V no LongVideoBench e VNBench utilizando modelos incluindo InternVL3-2B, Qwen2.5VL-3B e Qwen2.5VL-7B.

Desempenho: O APB-V atinge uma precisão quase sem perdas em comparação com a atenção total (FULLATTN). Ele supera outros métodos de atenção aproximada (como APB, STARATTN, XATTN) e métodos de poda de tokens (SLOWFAST), que sofrem quedas significativas de precisão (ex: SLOWFAST cai ~25%).
Aceleração (Speedup): O APB-V entrega acelerações substanciais sobre as linhas de base:
- 12.72× mais rápido que o FLASHATTN.
- 1.70× mais rápido que o ZIGZAGRING.
- 1.18× mais rápido que o APB.
- Esses ganhos são observados particularmente em cenários de alta resolução (1440p) e vídeos longos.
Escalabilidade: O framework mantém a precisão estável da tarefa através de diferentes contagens de hosts ( $H \in \{2, 4, 6, 8\}$ ) e demonstra robustez mesmo quando a comunicação entre grupos é limitada por gargalos de InfiniBand (IB), mostrando a menor queda de desempenho em comparação com outros métodos.

Significância e Alegações

O artigo afirma que o APB-V oferece um caminho promissor para a compreensão de vídeos longos ao escalar o poder computacional enquanto suprime a complexidade quadrática. Ao distribuir a atenção aproximada entre múltiplas GPUs, o framework permite o processamento de mais embeddings visuais sem a necessidade de compressão, preservando assim detalhes finos de vídeo que são frequentemente perdidos em abordagens de poda de tokens.

Os autores enfatizam que o APB-V é especificamente projetado para cenários limitados pelo tempo de ponta a ponta (Time-to-First-Token, TTFT), como vigilância e direção autônoma, onde a inferência em GPU única é inviável devido ao enorme volume de tokens gerados por vídeos longos. O trabalho demonstra que, com um paralelismo bem desenhado e otimizações de sistema, é possível alcançar aceleração significativa sem o típico compromisso de degradação do desempenho do modelo.

Limitações: Os autores observam que o APB-V é atualmente restrito a LMMs baseados em transformadores apenas-decoder e inferência multi-GPU. Não é compatível com redes convolucionais e, em uma GPU única, degenera para o FlashAttention padrão, não oferecendo vantagem.