🤖 AI

Internalized Reasoning for Long-Context Visual Document Understanding

Este artigo apresenta um pipeline de dados sintéticos que internaliza o raciocínio em modelos de linguagem multimodal para compreensão de documentos longos, permitindo que versões menores superem modelos muito maiores em tarefas complexas com uma redução significativa no número de tokens de saída.

Autores originais: Austin Veselka

Publicado 2026-04-06

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Austin Veselka

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem uma biblioteca gigante com documentos de milhares de páginas, cheios de gráficos, tabelas e textos complexos. Seu objetivo é encontrar uma informação específica ou responder a uma pergunta difícil sobre esse monte de papel.

Antes, os computadores (Inteligências Artificiais) tentavam ler tudo de uma vez, como se alguém tentasse engolir um livro inteiro de uma só vez para responder a uma pergunta. Isso era lento, confuso e muitas vezes eles esqueciam o que leram no meio do caminho.

Este artigo da LightOn apresenta uma nova maneira de ensinar esses computadores a pensar de forma inteligente sobre documentos longos. Vamos usar uma analogia de detetives para explicar como funciona:

1. O Problema: O Detetive que Lê Tudo

Antes, os modelos de IA agiam como um detetive inexperiente que, ao receber um caso, lia cada página do dossiê, do início ao fim, sem parar. Se o documento tivesse 100 páginas e a resposta estivesse na página 42, o detetive gastava tempo lendo as páginas 1 a 41 e 43 a 100, que não tinham nada a ver com o caso. Isso cansava o cérebro do computador e deixava a resposta confusa.

2. A Solução: O "Raciocínio Sintético" (O Treinamento)

Os autores criaram um "simulador de treinamento" para ensinar os computadores a serem detetives experts. Eles não apenas deram a resposta certa; eles ensinaram o computador como chegar lá.

O processo de treinamento funciona assim:

O Escaneamento Inteligente: O computador recebe o documento e a pergunta. Em vez de ler tudo, ele olha rapidamente para cada página e dá uma "nota de relevância" (como um professor dando uma nota de 0 a 10).
A Seleção: Ele joga fora as páginas com nota baixa (irrelevantes) e guarda apenas as páginas com nota alta.
A Ordem: Ele organiza essas páginas importantes da mais relevante para a menos relevante.
O Raciocínio: Com apenas essas páginas selecionadas, o computador "pensa" (escreve um rascunho mental) e só então dá a resposta final.

Isso é chamado de Raciocínio Sintético. É como se o computador estivesse sendo treinado a dizer: "Espere, não vou ler tudo. Vou checar o índice, pular direto para o capítulo importante e só então responder."

3. O Grande Truque: "Internalizar" o Pensamento

Aqui está a parte mais genial do artigo. Normalmente, quando um computador "pensa" (faz um raciocínio longo), ele gasta muito tempo e energia, mostrando todo o seu processo de pensamento para o usuário.

Os autores descobriram uma forma de internalizar esse pensamento.

A Analogia do Atleta: Imagine um atleta que treina muito pesado (fazendo exercícios de raciocínio) durante a semana. No dia da corrida (quando o usuário faz a pergunta), ele não precisa mais fazer os exercícios na frente do público. Ele já internalizou a técnica. Ele corre rápido e eficiente, sem precisar mostrar os alongamentos.
Na Prática: Eles treinaram o modelo para pensar, mas depois usaram uma técnica matemática (chamada "fusão de modelos") para "comprimir" esse aprendizado. O resultado é um modelo que sabe pensar, mas que não precisa escrever todo o processo de pensamento na tela. Ele dá a resposta certa, rápida e direta, como se o raciocínio tivesse acontecido magicamente no fundo.

4. Os Resultados: Pequeno, mas Poderoso

O modelo que eles criaram é relativamente pequeno (32 bilhões de "neuronios" artificiais), mas conseguiu superar modelos gigantes (235 bilhões de neurônios) em testes de documentos longos.

O Modelo Gigante: Leva muito tempo para ler tudo e ainda erra.
O Modelo Pequeno (com o novo método): Sabe exatamente onde olhar, ignora o que não importa e acerta a resposta mais rápido e com mais precisão.

Resumo em uma Frase

Os autores ensinaram computadores a agir como detetives experientes que sabem exatamente onde procurar a informação em documentos gigantes, e depois "esconderam" esse processo de pensamento dentro do cérebro do computador, fazendo com que ele seja rápido, eficiente e inteligente, sem precisar "falar alto" todo o seu raciocínio.

Isso é um avanço enorme para empresas, advogados e cientistas que precisam extrair informações de milhares de páginas de documentos todos os dias.

`).

Técnica: Utilizam Task Arithmetic para fundir o modelo base instruído com o modelo treinado com SFT (Supervised Fine-Tuning) nos traços de raciocínio.
- Fórmula: $\theta_{merged} = \theta_{base} + \alpha \cdot (\theta_{SFT} - \theta_{base})$
Controle: Um token de controle <cot> é usado durante o treinamento (95% dos exemplos) para ativar o bloco de raciocínio.
Resultado da Fusão:
- Com força de fusão baixa ( $\alpha = 0.25$ ), o modelo não gera tokens de pensamento explícitos, mas mantém o desempenho superior. O raciocínio foi "comprimido" ou internalizado.
- Com força alta ( $\alpha = 0.5$ ), o modelo gera raciocínio explícito e tokens longos.

3. Contribuições Principais

Pipeline de Raciocínio Sintético SOTA: O modelo Qwen3 VL 32B treinado com este pipeline atingiu 58.3 no MMLongBenchDoc, superando o modelo professor 7x maior (Qwen3 VL 235B A22B, que teve 57.0).
Raciocínio Internalizado: Demonstraram que o raciocínio pode ser internalizado via fusão de baixo nível, reduzindo drasticamente o número de tokens de saída (ex: 132 tokens vs 1637 tokens no Mistral) sem perda de desempenho.
Capacidade de Inferência Controlável: O uso do token <cot> permite ativar/desativar o modo de raciocínio durante a inferência. Remover o token degrada o desempenho, provando que a capacidade foi aprendida e não é apenas um artefato de treinamento.
Superioridade sobre Rastros de Pensamento Livres: O pipeline sintético estruturado (v2) superou o treinamento baseado em rastros de pensamento do modelo Thinking do Qwen3 VL 235B, indicando que o design do traço é mais importante do que a mera presença de raciocínio.

4. Resultados Experimentais

Desempenho em Benchmarks:
- Qwen3 VL 32B: Alcançou 58.3 no MMLongBenchDoc, superando o modelo de 235B.
- Mistral Small 3.1 24B: O método sintético superou a destilação de rastros de pensamento do modelo "Thinking" em +3.8 pontos no MMLBD-C e melhorou o desempenho base em +19% relativo.
Eficiência de Tokens:
- O modelo com raciocínio internalizado ( $\alpha=0.25$ ) produziu 12.4x menos tokens de saída em média comparado ao modelo com raciocínio explícito ( $\alpha=0.5$ ), mantendo a mesma precisão.
Validação de Internalização:
- Testes de ablação mostraram que remover o token <cot> durante a avaliação reduz o desempenho significativamente (Qwen: -3.8 pontos; Mistral: -2.1 pontos), confirmando que o modelo executa o raciocínio internamente quando ativado.

5. Significado e Conclusão

Este trabalho demonstra que o raciocínio estruturado sintético pode ser eficaz para a compreensão de documentos visuais longos, um domínio onde recompensas verificáveis são escassas. A principal inovação é a capacidade de internalizar esse raciocínio complexo, permitindo que modelos menores (32B) superem modelos massivos (235B) com uma fração dos parâmetros e com um custo de inferência (tokens) drasticamente reduzido.

Isso sugere que, para tarefas de documentos longos, a qualidade do processo de raciocínio (design do traço) e a capacidade de compressão desse raciocínio no modelo são mais críticas do que simplesmente forçar o modelo a "pensar em voz alta" durante a inferência. O pipeline é aberto para reprodução e exploração futura.