💬 NLP

OpenVisTool: An Open Recipe for Synthesizing Instructive Visual Tool-Use Trajectories

O artigo apresenta o OpenVisTool, um framework que sintetiza trajetórias instrutivas de uso de ferramentas visuais ao filtrar tanto a correção da resposta quanto a contribuição causal das observações das ferramentas, resultando em um conjunto de dados e um benchmark que melhoram significamente o desempenho de agentes multimodais ao ensinar os modelos a fundamentar o uso de ferramentas em evidências em vez de meramente imitar padrões de chamada.

Autores originais: Changhao Xiang, Shilin Zhang, Zheng Ma, Kanzhi Cheng, Ruize Ma, Yi Feng, Jianbing Zhang, Zhi Wang, Zhen Wu, Xinyu Dai, Lewei Lu

Publicado 2026-08-11

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Changhao Xiang, Shilin Zhang, Zheng Ma, Kanzhi Cheng, Ruize Ma, Yi Feng, Jianbing Zhang, Zhi Wang, Zhen Wu, Xinyu Dai, Lewei Lu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô a resolver um mistério. Você tem uma biblioteca gigante de pistas (imagens) e um conjunto de lupas especiais (ferramentas) que podem dar zoom, recortar ou destacar partes específicas da imagem. No mundo da inteligência artificial, esses "agentes multimodais" estão ficando mais espertos, mas frequentemente batem de frente com um muro: eles só conseguem ver o que está na captura inicial. Se uma pista estiver escondida em um texto minúsculo ou em um canto embaçado, o robô a perde. Para corrigir isso, cientistas estão ensinando os robôs a usar ativamente suas lupas para coletar novas evidências antes de responder. Mas aqui está a parte complicada: só porque um robô usou uma ferramenta e chegou à resposta certa, não significa que a ferramenta realmente ajudou. Talvez o robô já soubesse a resposta de memória e apenas fingiu usar a lupa porque lhe foi ordenado. Este artigo faz uma pergunta vital: Como ensinamos um rob em a usar ferramentas apenas quando elas são verdadeiramente necessárias, em vez de apenas imitar o hábito de usá-las?

Os pesquisadores por trás deste estudo, chamado OpenVisTool, argumentam que a forma atual de treinar esses robôs é falha. Eles dizem que simplesmente mostrar a um robô uma história "bem-sucedida" onde ele usou uma ferramenta e chegou à resposta certa é como mostrar a um aluno uma prova de matemática onde ele acertou a resposta, mas ainda assim escreveu todos os passos de uma fórmula complicada. O aluno aprende que "escrever fórmulas leva a boas notas", mas não aprende por que a fórmula era necessária. Os autores propõem uma nova receita de dados de treinamento mais rigorosa. Eles insistem que um exemplo de treinamento só é útil se duas coisas acontecerem: primeiro, o robô obtém a resposta correta (Validade de Resultado), e segundo, o robô realmente precisou da ferramenta para chegar lá (Utilidade Causal). Se o robô pudesse resolver o enigma sem a ferramenta, esse exemplo é descartado.

Para provar isso, a equipe construiu um novo conjunto de dados massivo chamado OpenVisTool-42K, contendo 42.000 exemplos cuidadosamente filtrados através de cinco mundos visuais diferentes: leitura de gráficos, análise de tabelas, navegação em telas de computador, busca por detalhes visuais e conversão de páginas da web em código. Eles utilizaram um processo de três etapas para criar este conjunto de dados. Primeiro, eles selecionaram questões "difíceis" que um robô não conseguiria resolver sem ferramentas. Segundo, um robô "professor" superinteligente resolveu esses problemas usando estratégias específicas para cada tipo de enigma. Finalmente, eles realizaram um teste rigoroso de "verificação de supervisão": pegaram a solução do professor e pediram a um robô "aluno" mais fraco para resolver o mesmo problema. Se o robô aluno falhou sem as notas da ferramenta do professor, mas teve sucesso com elas, o exemplo foi mantido. Se o robô aluno conseguia resolvê-lo de qualquer maneira, o exemplo era descartado como "redundante".

Os resultados foram impressionantes. Quando os pesquisadores ajustaram quatro modelos de robôs diferentes (variando de pequenos modelos de 4 bilhões de parâmetros até grandes modelos de 27 bilhões de parâmetros) neste novo conjunto de dados, os robôs tornaram-se significativamente melhores no uso de ferramentas. Em seu banco de testes personalizado, o OpenVisTool-Bench, os modelos melhoraram em uma média de 10,7 pontos. O maior salto foi na busca visual, onde os modelos ganharam 23,8 pontos. Ainda mais emocionante, os modelos menores de código aberto treinados com estes dados tiveram um desempenho quase tão bom quanto os gigantes modelos de código fechado (como o GPT-5.5) que geralmente dominam o campo. Por exemplo, um modelo Qwen3.5-9B treinado no OpenVisTool-42K obteve uma média de 45,8, superando o GPT-5.5 não treinado (que pontuou 41,9 sem ferramentas) e aproximando-se muito do GPT-5.5 com ferramentas (49,0).

O estudo também descobriu que este novo método de treinamento ensina uma "meta-habilidade" que funciona em diferentes tipos de enigmas. Quando testaram os robôs treinados em problemas que nunca haviam visto antes (tarefas fora da distribuição), eles ainda tiveram um desempenho superior aos robôs treinados com dados antigos e menos rigorosos. No entanto, os autores também descobriram que treinar em apenas um tipo de enigma (como apenas gráficos) poderia às vezes prejudicar o desempenho em outros tipos (como páginas da web), sugerindo que uma mistura de diferentes desafios é o ideal. Em última análise, o artigo sugere que o segredo para ensinar robôs a usar ferramentas não é apenas mostrar histórias de sucesso, mas mostrar histórias onde as ferramentas foram os verdadeiros heróis. Ao filtrar o uso de ferramentas "falso", o OpenVisTool ajuda os robôs a aprender não apenas como usar uma lupa, mas quando eles realmente precisam pegá-la.

Resumo Técnico: OpenVisTool

Declaração do Problema

O uso de ferramentas visuais tornou-se uma capacidade crítica para agentes multimodais adquirirem evidências detalhadas além das codificações de imagem fixas. Os métodos predominantes atuais para treinar esses agentes baseiam-se na amostragem de rejeição baseada em resultados (outcome-based rejection sampling), onde trajetórias geradas por um modelo professor são retidas se forem executáveis e produzirem uma resposta final correta.

Os autores argumentam que essa abordagem é fundamentalmente falha porque confunde validade de resultado com utilidade causal. Um modelo professor forte pode possuir conhecimento paramétrico suficiente ou atalhos de raciocínio para responder a uma consulta corretamente sem realmente precisar das observações da ferramenta que gera. Consequentemente, imitar tais trajetórias ensina ao modelo estudante que as chamadas de ferramenta coocorrem com respostas corretas, em vez de ensinar que as observações da ferramenta fundamentam a resposta. Isso resulta em "supervisão espúria", onde o modelo aprende correlação em vez de aprender a necessidade causal de adquirir evidência visual.

Metodologia: Estrutura OpenVisTool

Para enfrentar isso, os autores propõem o OpenVisTool, uma estrutura de três estágios projetada para sintetizar trajetórias de uso de ferramentas visuais instrutivas. A ideia central é que uma trajetória só é benéfica para o aprendizado se satisfizer duas condições conjuntas:

Validade de Resultado: A trajetória deve resultar em uma resposta final correta.
Utilidade Causal: As observações da ferramenta devem contribuir causalmente para a resposta; especificamente, fornecer essas observações a um modelo "sonda" (probe) fixo deve melhorar a confiabilidade de sua resposta em comparação com uma linha de base sem ferramenta.

A estrutura opera através dos seguintes estágios:

1. Triagem de Dificuldade

O pipeline primeiro filtra o pool de origem (abrangendo cinco domínios: Gráficos, Tabelas, Localização de GUI, Busca Visual e Web-to-HTML) para reter apenas consultas que um modelo sonda capaz (Qwen3.5-9B) não consegue resolver de forma confiável sem ferramentas.

Mecanismo: Um modelo sonda executa $K$ tentativas independentes sem ferramenta. Se a taxa de sucesso empírica for inferior a um limite ( $\gamma = 0,5$ ), a consulta é retida.
Objetivo: Garante que os problemas selecionados realmente demandem evidência visual externa, evitando chamadas de ferramentas redundantes.

2. Síntese de Trajetória Específica de Domínio

Para as consultas retidas, um modelo professor mais forte (Qwen3.5-Plus) sintetiza trajetórias usando um conjunto de ferramentas visuais compartilhado.

Mecanção: Em vez de prompts genéricos, o professor é guiado por padrões de uso de ferramentas específicos de domínio ( $P_d$ ) adaptados aos gargalos visuais de cada domínio (ex: isolamento de séries para Gráficos, localização progressiva para GUI).
Objetivo: Estimula comportamentos de aquisição de evidência coerentes em vez de chamadas de ferramentas arbitrárias ou decorativas.

3. Verificação de Supervisão

O estágio final valida rigorosamente cada trajetória candidata contra o critério de duas partes.

Verificação de Validade de Resultado: Verifica se a resposta final está correta usando avaliadores específicos de domínio.
Verificação de Utilidade Causal: As chamadas de ferramenta e as observações da trajetória são alimentadas ao mesmo modelo sonda usado na triagem (excluindo o raciocínio e a resposta final do professor para evitar vazamento de dados). A taxa de sucesso do sonda com ferramentas ( $\bar{p}_{tool}$ ) é comparada à sua taxa de sucesso sem ferramenta ( $\bar{p}_0$ ).
Regra de Retenção: Uma trajetória é retida apenas se for válida em resultado E $\bar{p}_{tool} - \bar{p}_0 \ge \delta$ (onde $\delta = 0,25$ ).

Principais Contribuições

Estrutura OpenVisTool: Uma nova pipeline de três estágios que operacionaliza o conceito de "supervisão instrutiva" ao impor conjuntamente a validade de resultado e a utilidade causal.
OpenVisTool-42K: Um conjunto de dados de larga escala e código aberto contendo 42.000 trajetórias verificadas abrangendo cinco domínios de raciocínio visual sob um conjunto de ferramentas unificado.
OpenVisTool-Bench: Um benchmark construído para isolar o valor incremental da aquisição ativa de evidência visual, focando em instâncias onde o acesso à ferramenta melhora materialmente o desempenho.
Validação Empírica: Demonstração de que o ajuste fino (fine-tuning) neste conjunto de dados melhora o desempenho de uso de ferramentas visuais em quatro modelos de base (variando de 4B a 27B de parâmetros), com resultados aproximando-se ou superando sistemas fechados líderes.

Resultados Experimentais

Os autores avaliaram a estrutura usando variantes do Qwen3.5 (4B, 9B, 27B) e Qwen3-VL-8B no OpenVisTool-Bench e em benchmarks fora de distribuição (OOD) (Agentic-MME, VTC-Bench).

Ganhos de Desempenho: O ajuste fino no OpenVisTool-42K gerou melhorias consistentes em todos os modelos e domínios. O ganho médio no OpenVisTool-Bench foi de 10,7 pontos. A melhoria mais significativa foi observada em Busca Visual (+23,8 pontos para o modelo 9B), um domínio que exige raciocínio espacial refinado onde as ferramentas preenchem a lacuna entre percepção e requisitos da tarefa.
Comparação com SOTA: O modelo 9B treinado com OpenVisTool-42K alcançou uma pontuação média de 45,8, superando o desempenho sem ferramenta do GPT-5.5 (41,9) e aproximando-se de perto do desempenho do GPT-5.5 com aumento de ferramentas (49,0).
Generalização: Modelos treinados no conjunto de dados multi-domínio mostraram ganhos consistentes em benchmarks OOD (Agentic-MME e VTC-Bench), sugerindo que a capacidade aprendida é uma meta-habilidade transferível e não um sobreajuste (overfitting) a padrões específicos de chamada de ferramenta.
Estudos de Ablação:
- Necessidade de Filtro: O uso de filtros de validade de resultado e utilidade causal superou o uso de apenas um deles ou o SFT de trajetória sem ferramenta.
- Sinergia Cross-Domain: O treinamento na mistura completa de múltiplos domínios resolveu conflitos de estratégia (ex: entre o corte local para busca e a renderização global para web) melhor do que o treinamento de domínio único, que frequentemente levava à degradação de desempenho em domínios incompatíveis.
- Replay de Trajetória: Quando um modelo sonda era condicionado às interações de ferramentas geradas pelo modelo treinado com instrução (sem ver o raciocínio/resposta), ele superou as interações geradas por um modelo treinado apenas em correção. Isso confirma que o treinamento induz uma política de aquisição de evidência mais útil.

Significância

O artigo afirma que o uso eficaz de ferramentas visuais não é aprendido meramente de resultados bem-sucedidos, mas de supervisão causalmente fundamentada. Ao mudar o foco da avaliação de "a trajetória termina corretamente?" para "as chamadas de ferramenta realizam trabalho real?", o OpenVisTool fornece uma receita para construir dados de treinamento que ensinam os modelos quando e como adquirir evidência visual. Esta abordagem permite que modelos menores de código aberto utilizem ferramentas visuais de forma eficaz, alcançando desempenho competitivo com grandes sistemas fechados, e estabelece que a qualidade dos dados de cold-start é o determinante primário da competência final de uso de ferramentas de um modelo.