💻 computer science

SEER: Long-Context Reasoning via Selective Visual-Text Compression

O SEER é um novo framework que aumenta a eficiência e a precisão do raciocínio de contexto longo ao selecionar dinamicamente imagens relevantes à consulta para varredura visual e recuperar textos detalhados apenas quando necessário, superando assim os baselines existentes de visual-texto e apenas-texto em benchmarks como o LongBench.

Autores originais: Jiawei Xu, Zhilin Zhai, Jinrui Fang, Ruohan Xu, Mingfei Lu, Yi Zhang, Guanchu Wang, Tianlong Chen, Ying Ding

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiawei Xu, Zhilin Zhai, Jinrui Fang, Ruohan Xu, Mingfei Lu, Yi Zhang, Guanchu Wang, Tianlong Chen, Ying Ding

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, existe uma tensão crescente entre quanta informação um computador consegue guardar em sua mente e o quão rápido ele consegue pensar sobre essa informação. Os grandes modelos de linguagem, os sistemas por trás de muitos chatbots e assistentes de escrita modernos, são projetados para processar vastas quantidades de texto. No entanto, quando esses sistemas tentam ler um documento muito longo, como um livro completo ou um relatório jurídico extenso, eles enfrentam um obstáculo significativo. Quanto mais palavras eles têm que considerar de uma só vez, mais poder de computação e tempo exigem, muitas vezes desacelerando até quase parar ou perdendo detalhes cruciais escondidos profundamente no texto. Para resolver isso, pesquisadores tentaram recentemente um atalho inteligente: transformar páginas de texto em imagens. Ao renderizar palavras como imagens, o computador pode processar o documento inteiro muito mais rápido, de forma semelhante a como um humano poderia escanear rapidamente uma página para entender o layout geral. No entanto, essa velocidade tem um custo. Quando o texto é convertido em uma imagem, os detalhes finos — os números exatos, nomes específicos ou datas precisas — podem se tornar borrados ou difíceis de ler, levando a erros quando o computador precisa responder a uma pergunta específica sobre o conteúdo.

Uma equipe de pesquisadores desenvolveu uma nova abordagem chamada SEER, que visa obter o melhor dos dois mundos: a velocidade de olhar para imagens e a precisão de ler palavras. Em vez de tratar cada página de um documento da mesma forma, o SEER aprende a agir como um leitor humano habilidoso que sabe quando folhear rapidamente e quando parar e ler atentamente. O sistema primeiro olha para o documento como uma série de imagens para identificar rapidamente quais páginas provavelmente contêm a resposta a uma pergunta específica. Uma vez que tenha localizado essas páginas relevantes, ele não depende apenas da imagem borrada. Em vez disso, ele retorna ao texto original dessas páginas específicas para recuperar as palavras exatas. Ele então combina o contexto amplo das imagens com os detalhes precisos do texto para formular uma resposta. Este método permite que o sistema permaneça rápido ao ignorar páginas irrelevantes, enquanto mantém alta precisão nas partes do documento que realmente importam.

Os pesquisadores testaram este novo sistema em um conjunto padrão de perguntas desafiadoras envolvendo documentos longos. Eles descobriram que o SEER superou significativamente métodos anteriores que dependiam exclusivamente de compressão visual. Em um importante benchmark usado para medir a compreensão de documentos longos, o novo sistema alcançou uma precisão média de 51,11 por cento. Este foi um claro avanço sobre a abordagem anterior puramente visual, que marcou 48,78 por cento, e também superou um modelo baseado em texto líder que não utilizava nenhuma compressão de imagem. Os ganhos foram particularmente perceptíveis em tarefas que exigiam a extração de fatos específicos, como contar quantos romances um determinado autor escreveu ou encontrar uma data específica em um relatório. Nesses casos, a capacidade de alternar de um escaneamento visual rápido para uma busca de texto precisa fez uma diferença substancial, melhorando a precisão em quase 19 pontos em algumas tarefas específicas na língua chinesa, onde o texto é densamente compactado e mais difícil de ler em formato de imagem.

O estudo também revelou como o sistema se comporta quando está trabalhando. Em média, para cada pergunta feita, o sistema selecionou apenas cerca de 1,59 páginas do documento para examinar detalhadamente, embora os documentos frequentemente contivessem muito mais páginas. Isso sugere que o sistema conseguiu aprender a ignorar a vasta maioria do texto que não era necessário para a resposta. No entanto, os pesquisadores observaram que essa eficiência tem limites. Se a resposta para uma pergunta depender de informações espalhadas por muitas páginas diferentes, a estratégia do sistema de escolher apenas algumas páginas pode não ser suficiente, e sua precisão cairia. Além disso, embora o sistema economize uma quantidade significativa de poder de computação ao não ler cada palavra de cada página, ele nem sempre roda mais rápido em termos de tempo bruto. Porque o sistema dá um passo extra para decidir quais páginas ler e depois buscar o texto, o tempo total para responder a uma única pergunta pode, às vezes, ser maior do que simplesmente ler todo o documento, mesmo que a quantidade total de dados processados seja menor.

Em última análise, este trabalho demonstra que a maneira mais eficiente de lidar com documentos longos não é escolher entre velocidade e precisão, mas sim usar uma estratégia híbrida que se adapte à tarefa em questão. Ao ensinar o computador a saber quando olhar para o quadro geral e quando dar um zoom nos detalhes, os pesquisadores criaram um sistema que é tanto mais rápido quanto mais preciso do que métodos anteriores para muitos tipos de perguntas. As descobertas sugerem que os futuros sistemas de inteligência artificial dependerão menos do processamento de força bruta de cada palavra e mais da seleção inteligente, imitando a forma como os humanos navegam naturalmente por informações complexas, focando sua atenção apenas onde ela é necessária.

Resumo Técnico: SEER – Raciocínio de Longo Contexto via Compressão Visual-Textual Seletiva

Declaração do Problema

O raciocínio de longo contexto permanece computacionalmente caro para Grandes Modelos de Linguagem (LLMs) devido à complexidade quadrática dos mecanismos de autoatenção sobre tokens de texto. Embora a compressão visual-textual — renderizar o texto em imagens e processá-las com Modelos de Linguagem-Visão (VLMs) — ofereça uma alternativa promissora ao reduzir a contagem de tokens (tipicamente uma compressão de 3 a 4×), as abordagens existentes sofrem de uma limitação crítica: a compressão uniforme.

Os métodos atuais (ex: Glyph, Vist) aplicam a compressão uniformemente em todo o contexto, independentemente da relevância da consulta (query). Isso cria um compromisso (trade-off): a compressão agressiva melhora a eficiência, mas sacrifica os detalhes granulares necessários para um raciocínio preciso (ex: extrair números ou nomes específicos), enquanto a compressão conservadora preserva detalhes, mas anula os ganhos de eficiência. O artigo postula que muitas consultas exigem informações detalhadas de apenas um pequeno subconjunto do contexto, enquanto o restante serve primariamente para a compreensão global.

Metodologia: O Framework SEER

O SEER (Compressão Visual-Textual Seletiva) aborda esse compromisso aprendendo a realizar a compressão visual-textual seletiva. Ele trata a seleção visual e a recuperação de texto como ferramentas dentro de um processo de raciocínio unificado, combinando a eficiência do escaneamento visual com a precisão do raciocínio baseado em texto.

1. Pipeline de Inferência de Três Estágios

O SEER opera através de uma trajetória de interação de ferramentas sequencial:

Estágio 1: Seleção Visual. O modelo escaneia a sequência de imagens renderizadas ( $I$ ) e a consulta ( $q$ ) para prever um conjunto de índices de imagem relevantes ( $S$ ). Isso aproveita a acessibilidade global das representações visuais para identificar rapidamente regiões relevantes à consulta, de forma análoga ao escaneamento humano (skimming).
Estágio 2: Recuperação de Texto. Para as imagens selecionadas, o sistema recupera deterministicamente o texto de origem correspondente ( $y_R$ ). Este passo ignora a necessidade de um componente de OCR durante a inferência, baseando-se no fato de que o texto de origem está disponível a partir do processo de renderização. Isso fornece capacidades de raciocínio local de alto nível de detalhe.
Estágio 3: Raciocínio. O modelo gera a resposta final raciocinando sobre o contexto combinado das imagens visuais completas ( $I$ ), a consulta ( $q$ ), os índices de imagem selecionados ( $S$ ) e o texto recuperado ( $y_R$ ). Isso segue um paradigma ReAct de Pensamento-Ação-Observação (Thought-Action-Observation).

2. Estratégia de Treinamento

O SEER é treinado via Ajuste Fino Supervisionado (SFT) em trajetórias completas de interação de ferramentas.

Construção de Dados: O conjunto de dados de treinamento consiste em trajetórias contendo imagens renderizadas, consultas, imagens relevantes de verdade fundamental (ground-truth, anotadas usando um modelo mais forte, Qwen3.5-9B), raciocínio de Cadeia de Pensamento (CoT) de referência e respostas finais.
Objetivo: O modelo é treinado para gerar chamadas de ferramenta estruturadas (ex: {"name": "select", "indices": [1, 3]}), receber o texto recuperado como uma observação e prosseguir para o raciocínio. Uma máscara de peso por token é usada para supervisionar apenas o conteúdo gerado pelo modelo, mascarando os tokens de observação não gerados.
Inicialização: O modelo é inicializado a partir do Glyph-9B e ajustado finamente em trajetórias construídas de conjuntos de dados como 2WikiMQA, HotpotQA e Qasper.

Principais Contribuições

Proposta de Framework: O SEER é o primeiro framework que combina compressão visual-textual com invocação seletiva de ferramentas, aprendendo a recuperar texto apenas das imagens mais relevantes para a tarefa de inferência.
Design de Pipeline: Um novo pipeline de inferência de três estágios (Seleção-Recuperação-Raciocínio) que otimiza conjuntamente as capacidades de seleção e raciocínio, permitindo que o modelo equilibre eficiência e precisão.
Desempenho Empírico: Demonstrou melhorias em benchmarks de longo contexto, especificamente mostrando que a recuperação seletiva recupera a precisão perdida na compressão uniforme sem retornar totalmente aos custos de tokens do processamento de texto completo.

Resultados Experimentais

Os autores avaliaram o SEER no benchmark LongBench (21 tarefas em 6 categorias) contra LLMs baseados em texto e baselines de compressão visual-textual.

Acurácia: O SEER alcançou uma acurácia média de 51,11% no LongBench.
- Superou o baseline visual-textual Glyph-9B em 2,33 pontos (48,78% vs. 51,11%).
- Superou o modelo baseado em texto Qwen3-8B em 3,49 pontos (47,62% vs. 51,11%).
Ganhos Específicos por Tarefa: As melhorias foram mais pronunciadas em tarefas intensivas de extração:
- +8,75 pontos no Qasper (QA de documento único).
- +19,17 pontos no MultiFieldQA-Zh (QA em chinês).
- +4,22 pontos no NarrativeQA.
Eficiência de Tokens:
- O Glyph-9B alcançou ~3,14× de compressão de prompt em comparação com os baselines de texto completo.
- O SEER alcançou 1,28× de compressão. Embora menos eficiente que a compressão puramente visual, ele sacrifica parte da economia de tokens para recuperar a precisão textual relevante para a tarefa.
- Em média, o SEER seleciona apenas 1,59 imagens válidas por consulta (mediana de 1), mantendo o orçamento de recuperação esparso.

Estudos de Ablação

Sem Recuperação: Remover o estágio de recuperação de texto (apenas seleção) reduziu a acurácia para 43,00% (−8,11 pontos), indicando que a seleção isolada é insuficiente para extração precisa.
Sem Seleção + Recuperação: O raciocínio puramente visual (comportamento do Glyph-9B) pontuou 48,78% (−2,33 pontos).
Mecanismo vs. Dados: Um controle de iso-treinamento (mesmos dados, sem o mecanismo de seleção/recuperação) pontuou 45,20%, confirmando que o ganho de desempenho advém do mecanismo de seleção-recuperação e não apenas dos dados de ajuste fino.

Significância e Alegações

O artigo afirma que o SEER mitiga efetivamente o compromisso entre precisão e eficiência inerente à compressão visual-textual uniforme. Ao aprender a recuperar texto seletivamente onde necessário, o framework mantém a consciência de contexto global do processamento visual enquanto fundamenta etapas específicas de raciocínio em evidências textuais precisas.

Os autores enfatem que os ganhos de acurácia concentram-se em tarefas que exigem a extração de detalhes exatos (nomes, números, datas), onde o decodificação visual sozinha é propensa a erros, particularmente com texto densamente renderizado (ex: caracteres chineses). O trabalho demonstra que um orçamento de recuperação esparso (selecionando ~1–3 páginas) é suficiente para recuperar a maior parte do desempenho perdido na compressão uniforme, sugerindo que o raciocínio de longo contexto não requer o processamento de todo o contexto com alta fidelidade textual, mas sim das partes certas dele.

Limitações

O artigo nota explicitamente várias limitações:

Robustez: O mecanismo de seleção não é perfeitamente robusto; o modelo ocasionalmente prevê índices fora de alcance, que são descartados, o que pode levar a falhas de recuperação em sistemas de produção.
Escopo de Eficiência: A economia de tokens é uma média, não uma garantia. Em algumas tarefas, o overhead de recuperação torna o prompt maior do que o processamento de texto completo. Além disso, as melhorias de latência são limitadas pela emissão explícita da trajetória de raciocínio; o SEER é mais lento em tempo de execução (wall-clock time) do que os baselines de inferência direta.
Distribuição de Evidências: O método é otimizado para perguntas onde a evidência reside em poucas páginas. O desempenho degrada quando a evidência está distribuída por muitas páginas, pois a seleção de rodada única é limitada em termos de recall.
Escopo: O SEER é especializado para documentos renderizados longos (PDFs, código, etc.) e não foi avaliado em imagens naturais, gráficos ou benchmarks padrão de OCR.