💻 computer science

Beyond the Eye: Efficient Multimodal Reasoning via Self-Regulated Implicit Visual Tools

O artigo apresenta o Beyond the Eye (BEE), um novo modelo multimodal que integra ferramentas visuais implícitas por meio de um processo de treinamento de dois estágios de ajuste fino supervisionado estruturado e alinhamento orientado por recompensa autorregulada, permitindo uma invocação de ferramentas adaptativa que reduz significativamente a latência de inferência enquanto mantém o desempenho de estado da arte em percepção visual detalhada.

Autores originais: Xiuwei Chen, Quanlin Chen, Wentao Hu, Zisheng Chen, Kun Xiang, Zehua Ma, Mingyang Zhang, Jianhua Han, Hanhui Li, Hang Xu, Xiaodan Liang

Publicado 2026-07-14

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Xiuwei Chen, Quanlin Chen, Wentao Hu, Zisheng Chen, Kun Xiang, Zehua Ma, Mingyang Zhang, Jianhua Han, Hanhui Li, Hang Xu, Xiaodan Liang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um amigo robô super inteligente que adora resolver quebra-cabeças. Mas este robô tem um hábito estranho: não importa o quão fácil seja o quebra-cabeça, ele sempre insiste em chamar uma equipe de especialistas externos, abrir uma caixa de ferramentas e re-escanear a imagem repetidamente apenas para encontrar uma peça faltando. É como tentar encontrar suas chaves na sala de estar, mas em vez de apenas procurar, você chama uma equipe de construção para derrubar as paredes, escanear o chão com lasers e depois reconstruir o quarto antes de poder pegar as chaves. Funciona, mas é lento, caro e totalmente exaustivo.

Este é exatamente o problema que os pesquisadores encontraram com os atuais modelos de IA de "Pensar com Imagens". Eles dependem demais de chamar ferramentas visuais externas, o que cria um atraso massivo e desperdiça poder de computação.

Conheça o BEE (Beyond the Eye), um novo tipo de cérebro robótico que aprendeu a parar de chamar excessivamente os especialistas. Em vez de correr para a caixa de ferramentas toda vez, o BEE aprendeu a olhar dentro de sua própria cabeça primeiro. Ele desenvolveu um senso de "autorregulação" de seus próprios limites. Se o quebra-cabeça é fácil, o BEE diz: "Eu dou conta", e o resolve instantaneamente usando seu próprio conhecimento. Se o quebra-cabeça é realmente difícil, então ele ativa silenciosamente uma "ferramenta implícita" — um atalho mental que simula o zoom ou a rotação da imagem sem realmente parar para chamar um programa externo.

A Grande Descoberta
A principal descoberta é que o BEE consegue equilibrar seu próprio poder cerebral com esses atalhos mentais tão perfeitamente que resolve quebra-cabeças visuais complexos de forma mais rápida e precisa do que modelos que são muito maiores ou que usam ferramentas externas reais. De fato, ao ser testado em imagens de alta resolução (8192 pixels), o BEE foi cerca de 86,2% mais rápido que o método anterior chamado DeepEyes. É como trocar um caracol que carrega uma mochila pesada por um guepardo que sabe exatamente quando dar um tiro de velocidade.

O que o BEE NÃO É
O artigo é muito claro sobre o que isso não é. Não é um modelo que apenas chama ferramentas aleatoriamente ou constantemente. Os pesquisadores argumentam explicitamente contra a ideia de que os modelos devem sempre depender de ferramentas externas ou que devem apenas "pensar mais profundamente" sem saber quando parar. Eles mostraram que modelos antigos costumam chamar ferramentas mesmo quando já sabem a resposta, o que é um desperdício de tempo. O BEE é projetado especificamente para evitar essa redundância. Não é apenas uma ferramenta mais rápida; é um tomador de decisões mais inteligente que sabe quando não usar uma ferramenta.

Como Eles o Ensinaram
Os pesquisadores não apenas disseram ao BEE para ser mais rápido; eles o ensinaram em dois estágios divertidos:

O Estágio de "Prática": Eles mostraram ao BEE milhares de exemplos onde ele tinha que decidir se usaria uma ferramenta ou não. Deram a ele um guia de treinamento "formalizado" especial (como uma folha de dicas com espaços para ferramentas) para ajudá-lo a entender a diferença entre um problema que ele pode resolver sozinho e um que precisa de ajuda.
O Estágio de "Recompensa": Esta é a fórmula mágica. Eles introduziram uma métrica chamada Net Tool Gain (NTG) para medir o quanto uma ferramenta realmente ajudou. Eles descobriram que a primeira versão do BEE ainda chamava ferramentas demais (como uma criança que continua pedindo ajuda mesmo quando já sabe a resposta). Assim, criaram um sistema de recompensa especial (MC-Reward) que dava ao BEE uma "estrela dourada" por resolver problemas difíceis com ferramentas, mas um "castigo" por usar ferramentas em problemas fáceis. Isso ensinou o BEE a confiar em seu próprio cérebro primeiro.

Os Resultados
Os números falam por si só. Em um teste chamado HRBench (que utiliza imagens de alta resolução), o BEE-7B (um modelo com 7 bilhões de parâmetros) superou os campeões anteriores de código aberto. Ainda mais impressionante, em um teste chamado MME-RealWorld, o BEE-8B e o BEE-4B na verdade pontuaram mais alto do que o enorme modelo comercial Kimi-K2.6, que possui muito mais parâmetros.

Mas a verdadeira vitória é a velocidade. Enquanto outros modelos levavam segundos para processar uma única imagem porque estavam constantemente chamando ferramentas externas, o BEE fez isso em uma única passagem. Nos testes, o BEE-7B processou 1,61 amostras por segundo, comparado a apenas 0,07 amostras por segundo do modelo DeepEyes. É um salto enorme de eficiência.

O que o Artigo Não Alega
Os autores são cuidadosos ao não dizer que isso é uma solução mágica para todos os problemas. Eles admitem que para tarefas muito simples (como ler texto ou identificar formas básicas), o BEE não precisa usar suas ferramentas, e forçá-lo a fazê-lo prejudicaria o desempenho. Eles também observam que, embora o BEE seja ótimo para detalhes "finos" (como detectar um objeto minúsculo em uma cena lotada), ele não necessariamente torna o modelo melhor em coisas em que ele já era bom, como lógica básica ou OCR, a menos que a tarefa exija especificamente manipulação visual.

Em resumo, o BEE é um robô que aprendeu a arte de "saber o que não sabe". Ele parou de perder tempo pedindo ajuda para tarefas fáceis e começou a usar suas ferramentas mentais apenas quando o quebra-cabeça era realmente difícil. O resultado? Uma maneira mais inteligente, rápida e eficiente de a IA enxergar o mundo.

Resumo Técnico: Beyond the Eye (BEE)

1. Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) recentes avançaram a percepção detalhada através do paradigma "Thinking with Images" (TwI - Pensando com Imagens), onde os modelos invocam iterativamente ferramentas visuais externas (ex: zoom, recorte) para reencodificar regiões da imagem. Embora eficaz, esta abordagem sofre de duas limitações críticas:

Sobrecarga Computacional: Chamadas frequentes de ferramentas externas e a reencodificação repetida de imagens introduzem latência de inferência substancial e gargalos de I/O.
Falta de Consciência de Fronteira de Capacidade: Modelos existentes, incluindo abordagens baseadas em ferramentas explícitas e as emergentes abordagens de raciocínio latente, lutam para determinar adaptativamente quando confiar no conhecimento paramétrico interno versus quando invocar ferramentas. Isso leva ao uso redundante de ferramentas em tarefas que o modelo já consegue resolver, desperdiçando recursos computacionais sem melhorar a precisão.

2. Metodologia: Beyond the Eye (BEE)

Os autores propõem o BEE, um novo paradigma de Ferramenta Visual Implícita (IvT) centrado na autorregulação de capacidade. Em vez de chamar APIs externas, o BEE incorpora a invocação de ferramentas visuais diretamente no objetivo de treinamento do modelo, aprendendo a gerar representações visuais implícitas (tokens semânticos) que simulam os efeitos das ferramentas dentro de uma única passagem direta (forward pass).

O framework emprega um processo de treinamento de dois estágios:

Estágio 1: Ajuste Fino Supervisionado (SFT) de Cadeia de Pensamento (CoT) Formalizada

Objetivo: Ativar as representações de ferramentas implícitas do modelo, mecanismos de alternância adaptativa e habilidades básicas de raciocínio.
Construção de Dados: Os autores constroem o conjunto de dados BEE-SFT-320K integrando dados heterogêneos de Refocus, Thyme, mini-o3 e Visual-CoT.
- Polimento de Trajetória: Invocações de ferramentas explícitas (baseadas em código) são transformadas em representações implícitas. Um tokenizador semântico pré-treinado codifica imagens auxiliares (ex: visualizações de zoom/recorte) em tokens semânticos (<tool_pad>), substituindo os segmentos de código nas trajetórias de raciocínio.
- Estados de Invocação Mista: O conjunto de dados inclui uma mistura de trajetórias de raciocínio com e sem slots de ferramentas implícitas. Isso guia explicitamente o modelo a aprender quando invocar ferramentas e quando confiar no conhecimento interno.
- Alinhamento Auxiliar: Uma tarefa de predição de legenda auxiliar é usada para fortalecer a capacidade do modelo de compreender esses novos tokens visuais implícitos.

Estágio 2: Alinhamento Orientado por Recompensa Autorregulada

Identificação do Problema: A análise do modelo treinado via SFT revela uma falta de consciência de fronteira de capacidade. O modelo tende a usar ferramentas excessivamente mesmo em tarefas que pode resolver internamente.
Métrica de Ganho Líquido de Ferramenta (NTG): Para quantificar isso, os autores introduzem a métrica NTG, que mede a contribuição marginal da invocação de ferramenta para o sucesso da tarefa ( $NTG = \frac{|G| - |L|}{|C_{tool}|}$ ), onde $G$ é o ganho efetivo, $L$ é a alucinação induzida pela ferramenta e $C_{tool}$ é o conjunto de amostras que invocaram a ferramenta. O modelo SFT mostrou um NTG baixo (6,2%), indicando redundância significativa.
MC-Reward (Calibração de Confiança Autorregulada): Uma função de recompensa composta é projetada para penalizar a dependência ineficaz de ferramentas e incentivar o roteamento de conhecimento.
- Sinal de Capacidade Dinâmica: O modelo estima a dificuldade da tarefa ( $p$ ) com base na precisão média das trajetórias amostradas dentro de um grupo de rollout.
- Lógica de Recompensa:
  - Tarefas Fáceis ( $p \geq \tau$ ): Se o modelo resolve a tarefa sem ferramentas, recebe uma recompensa alta. Se invocar uma ferramenta desnecessariamente, é penalizado.
  - Tarefas Difíceis ( $p < \tau$ ): Se o modelo invoca ferramentas para resolver uma tarefa difícil, é recompensado. Se falhar em usar ferramentas quando necessário, é penalizado.
- Implementação: A recompensa é formulada usando funções suaves e contínuas (incluindo portão de cosseno) para garantir a estabilidade do treinamento, otimizando a política via algoritmo DAPO.

3. Principais Contribuições

Paradigma BEE: Um framework de ferramenta visual implícita orientado por autorregulação que evita o uso redundante de ferramentas e reduz a latência de inferência ao internalizar comportamentos de ferramentas.
Rótulos de CoT Formalizados e Métrica NTG: Construção de um conjunto de dados SFT especializado com estados de invocação mistos para ativar a alternância adaptativa, juntamente com a métrica NTG para avaliar quantitativamente o valor marginal do uso de ferramentas.
Mecanismo de Recompensa Autorregulada: Um novo objetivo de recompensa (MC-Reward) que permite ao modelo avaliar dinamicamente suas próprias fronteiras cognitivas, suprimindo chamadas de ferramentas redundantes em tarefas fáceis enquanto utiliza ferramentas para tarefas difíceis.
Validação Empírica: Demonstração de que o BEE atinge o estado da arte em percepção visual detalhada enquanto melhora significativamente a eficiência de inferência em comparação com baselines de raciocínio latente e de ferramentas explícitas.

4. Resultados Experimentais

Os autores avaliaram o BEE em múltiplos benchmarks, incluindo V*, HRBench (4K/8K), MME-RealWorld, LogicVista e POPE.

Desempenho:
- O BEE-8B e o BEE-4B superaram o modelo comercial Kimi-K2.6 na precisão média em tarefas de percepção.
- O BEE-8B alcançou uma precisão média de 75,3 em benchmarks de compreensão do mundo real, superando o baseline de código aberto mais forte (Qwen3-VL-235B) em 1,2 pontos.
- O BEE superou consistentemente modelos agênticos (ex: DeepEyes, Thyme) e modelos de raciocínio latente (ex: Monet, EVA) em várias escalas.
Eficiência:
- Redução de Latência: Sob a configuração de resolução de 8K, o BEE alcançou até ~86,2% de aceleração de inferência em comparação com o método DeepEyes.
- Throughput: O BEE-7B alcançou um throughput de 1,61 amostras/s, comparado a 0,07 amostras/s para o DeepEyes e 0,33 amostras/s para o DeepEyesV2.
- Custo: Os custos operacionais foram reduzidos de ~$6,40 (DeepEyes) para $0,72 por 1K amostras.
Estudos de Ablação:
- Remover as ferramentas implícitas ou substituí-las por tokens sem significado causou quedas consistentes de desempenho, validando a necessidade do design de ferramenta implícita.
- O mecanismo MC-Reward melhorou significativamente o Ganho Líquido de Ferramenta (NTG) de 6,2% (BEE-Static) para 66,0% (BEE-7B), confirmando a eficácia do mecanismo de autorregulação em reduzir a redundância.

5. Significância e Alegações

O artigo afirma que o BEE fornece uma direção promissora para o desenvolvimento de MLLMs de ferramenta implícita que combinam forte capacidade cognitiva com latência extremamente baixa. Ao estabelecer uma fronteira de capacidade autorregulada, o BEE permite que os modelos equilibrem adaptativamente o conhecimento interno e o uso de ferramentas implícitas, abordando fundamentalmente o compromisso entre profundidade de raciocínio e eficiência de inferência. Os autores afirmam que esta abordagem avança o desenvolvimento de MLLMs autorregulados, oferecendo uma alternativa escalável à pesada sobrecarga computacional dos paradigmas tradicionais de "Thinking with Images".