DIVE: Scaling Diversity in Agentic Task Synthesis for Generalizable Tool Use

O artigo apresenta o DIVE, uma abordagem baseada em evidências que inverte a ordem de síntese de tarefas para gerar dados de treinamento diversos e executáveis, demonstrando que escalar a diversidade de ferramentas e padrões de uso é mais eficaz para a generalização em tarefas fora da distribuição do que simplesmente aumentar a quantidade de dados.

O essencial

Imagine que você está tentando ensinar um robô (uma Inteligência Artificial) a ser um "super-assistente" capaz de usar ferramentas do mundo real, como buscar na internet, analisar ações da bolsa, ler receitas médicas ou escrever código.

O problema é que, até agora, os robôs eram treinados como se estivessem estudando apenas para uma prova específica. Se você os treinasse apenas para "buscar receitas na internet", eles ficariam ótimos nisso, mas se você pedisse para eles "analisar um gráfico de ações" ou "diagnosticar uma doença", eles entrariam em pânico e falhariam. Eles eram como um cozinheiro que só sabe fazer omeletes: se você pedir um bolo, ele não sabe o que fazer.

O artigo DIVE propõe uma solução genial para isso. Vamos entender como funciona com uma analogia simples:

1. O Problema: A Cozinha de "Receitas Falsas"

Antes do DIVE, os cientistas criavam tarefas para treinar os robôs de um jeito meio "falso".

• O jeito antigo: Eles diziam: "Ei, robô, imagine que você precisa descobrir o capital da Austrália". O robô tentava adivinhar ou usar ferramentas de forma genérica. O problema é que muitas vezes essas tarefas eram impossíveis de verificar ou o robô aprendia apenas a seguir um roteiro rígido (como um script de teatro), sem realmente entender como usar as ferramentas de verdade.
• A consequência: O robô era ótimo no treino, mas no mundo real (quando as ferramentas mudam ou o pedido é diferente), ele quebrava.

2. A Solução DIVE: "Primeiro a Ação, Depois a Pergunta"

O DIVE inverteu a lógica. Em vez de inventar uma pergunta e tentar achar uma resposta, eles fazem o seguinte:

Imagine um detetive que primeiro coleta todas as evidências do crime e só depois escreve o relatório.

O DIVE funciona assim:

1. Executa Ferramentas Reais: O sistema pega ferramentas reais (como APIs de medicina, finanças, biologia) e as faz "trabalhar" de verdade. Ele busca dados, roda códigos, consulta bancos de dados.
2. Coleta Evidências: Ele guarda tudo o que essas ferramentas produziram (os resultados, os gráficos, os textos).
3. Cria a Pergunta (O "Detetive"): Só depois de ter todas essas evidências reais em mãos, o sistema cria uma pergunta inteligente que só pode ser respondida usando exatamente aquelas evidências.

A Analogia do "Menu do Dia":

• Método Antigo: O chef diz: "Hoje vamos fazer um prato de peixe". Ele tenta inventar um peixe que talvez não exista ou não tenha ingredientes.
• Método DIVE: O chef vai ao mercado, compra o peixe fresco, os vegetais e o tempero que estão disponíveis. Só depois de ver o que comprou, ele diz: "Ok, com esse peixe e esses legumes, vamos fazer um prato delicioso chamado 'Peixe ao Limão com Ervas'".

Isso garante que a tarefa seja real (porque as ferramentas funcionaram de verdade) e verificável (porque a resposta existe nos dados que o sistema coletou).

3. A Diversidade: Não é só "Quantidade", é "Variedade"

O grande segredo do DIVE não é apenas fazer mais tarefas, mas fazer tarefas diferentes.

• Eles treinaram o robô com ferramentas de 5 áreas diferentes: Finanças, Medicina, Biologia, Academia e Geral.
• Eles misturaram essas ferramentas de formas aleatórias. Às vezes o robô precisa usar uma ferramenta médica e depois uma de código. Às vezes, três ferramentas de finanças.

Analogia da "Academia de Ginástica":

• Treino Antigo: O robô fazia apenas 10.000 repetições de "agachamento" (usando sempre as mesmas ferramentas). Ele ficava forte em agachamento, mas não sabia correr.
• Treino DIVE: O robô faz 12.000 repetições, mas misturando agachamento, corrida, natação, escalada e dança. Ele fica um atleta completo, capaz de lidar com qualquer desafio que surja.

4. O Resultado: Um Robô que Aprende de Verdade

Quando eles treinaram um modelo de IA (o Qwen3-8B) com esse método:

• Ele ficou muito melhor em tarefas que nunca viu antes (generalização).
• Ele superou modelos muito maiores e mais caros em testes de raciocínio complexo.
• Curiosamente, eles descobriram que ter menos dados, mas mais variados, era melhor do que ter muitos dados, mas todos iguais.

Resumo em uma frase:

O DIVE ensina robôs a serem especialistas no mundo real não fazendo eles decorarem respostas, mas fazendo eles "viverem" a experiência de usar ferramentas reais primeiro e, só depois, criando os desafios baseados nessa experiência real. É como trocar um aluno que decora o livro por um aluno que faz estágio no mundo real.

Resumo técnico

Título: DIVE: Escalando a Diversidade na Síntese de Tarefas Agênicas para Uso de Ferramentas Generalizável

1. O Problema

O treinamento de pós-otimização (post-training) de Grandes Modelos de Linguagem (LLMs) para agentes que utilizam ferramentas (tool-using agents) tem dependido crescentemente de tarefas sintetizadas. No entanto, esses modelos enfrentam um desafio crítico: a fragilidade na generalização quando confrontados com mudanças nas tarefas e nos conjuntos de ferramentas (toolsets).

As causas principais dessa limitação são:

• Diversidade Insuficiente: A maioria dos métodos de síntese atuais foca em aumentar a quantidade de dados ou a dificuldade, mas permanece confinada a famílias de tarefas estreitas e conjuntos de ferramentas fixos (ex: apenas busca na web).
• Tensão entre Diversidade e Validade: Escalar a diversidade é difícil porque o treinamento de agentes exige que as tarefas sejam simultaneamente verificáveis (para filtragem de trajetórias e cálculo de recompensa) e executáveis (solúveis com as ferramentas disponíveis).
  • Métodos que simulam ferramentas ou ambientes geram riscos de não verificabilidade.
  • Métodos que extraem dados de pipelines especializados são custosos e não escalam bem.
  • Métodos de "síntese primeiro pela consulta" (query-first) em ferramentas reais sofrem com alto risco de tarefas insolúveis, exigindo verificação manual pesada.

2. Metodologia: DIVE

O artigo propõe o DIVE (Diverse, Verifiable, and Executable), uma receita de síntese baseada em evidências que inverte a ordem tradicional de geração de dados.

Princípio Central: Síntese "Evidência-Primeiro"
Ao invés de gerar uma pergunta (query) e tentar verificar se ela é solúvel, o DIVE executa ferramentas reais primeiro e deriva as tarefas a partir dos rastros de execução (traces). Isso garante a "fundamentação por construção" (grounding by construction).

Fases do Pipeline DIVE:

1. Preparação de Recursos Diversificados:

   • Pool de Ferramentas (Tool Pool): 373 ferramentas validadas cobrindo domínios gerais e quatro domínios especialistas (Finanças, Biologia, Medicina e Academia). As ferramentas são categorizadas em Retrieval (busca de dados) e Processing (transformação/cálculo).
   • Pool de Sementes (Seed Pool): ~20.000 conceitos semânticos extraídos de fontes como Wikipedia, PubMed e bolsas de valores para evitar colapso de tópicos.
   • Pool de Exemplares (Exemplar Pool): Consultas sem execução (query-only) de benchmarks existentes para fornecer padrões estruturais heterogêneos.

2. Síntese de Tarefas Orientada por Evidências:

   • Amostragem de Configuração: O sistema amostra aleatoriamente uma semente, um subconjunto de ferramentas (15-50) e exemplares.
   • Coleta de Evidências (Evidence Collection): Um agente executa as ferramentas reais em um loop de raciocínio intercalado, acumulando traços de execução válidos e observáveis.
   • Derivação de Tarefas (Task Derivation): Um LLM observa as evidências acumuladas e deriva pares Pergunta-Resposta (Q, A) que são estritamente entailed (implicados) pelos rastros de execução. Isso garante que a tarefa seja sempre solúvel e verificável.
   • Loop Iterativo: O processo é repetido para aumentar a complexidade e a diversidade das tarefas, refinando-as com base nas evidências crescentes.

3. Treinamento Agênico:

   • SFT (Fine-tuning Supervisionado): Treinamento inicial com demonstrações de trajetórias verificadas.
   • RL (Aprendizado por Reforço): Otimização adicional usando amostragem de rejeição e recompensas baseadas na correção da resposta e formato das chamadas de ferramentas.

3. Contribuições Chave

• Identificação de Gargalos: Demonstra que a falta de diversidade estrutural (padrões de uso de ferramentas heterogêneos) é um limitador maior para a generalização do que apenas a quantidade de dados.
• Inversão de Síntese: Propõe um método inovador onde a execução de ferramentas reais precede a definição da tarefa, resolvendo o dilema entre escalabilidade de diversidade e garantia de executabilidade.
• Análise de Escala: Prova empiricamente que escalar a diversidade (cobertura de pool de ferramentas e variedade de conjuntos de ferramentas) supera o escalonamento de quantidade de dados para generalização fora da distribuição (OOD).

4. Resultados Experimentais

O modelo foi treinado no Qwen3-8B usando 48k tarefas SFT e 3.2k tarefas RL geradas pelo DIVE.

• Desempenho Geral:

  • O modelo DIVE-8B (RL) superou a linha de base mais forte de 8B em +68% em média.
  • Houve um ganho médio de +22 pontos em 9 benchmarks OOD (Fora da Distribuição).
  • Mesmo com 4x menos dados (12k vs 48k), a estratégia de diversificação superou consistentemente a estratégia de apenas aumentar a quantidade de dados.

• Generalização Robusta:

  • L1 (In-distribution): Desempenho sólido em tarefas com as mesmas ferramentas de treinamento.
  • L2 (General Tools OOD): Excelente transferência para tarefas de pesquisa profunda (DeepResearch) com ferramentas gerais.
  • L3 (Specialized Tools OOD): O modelo demonstrou capacidade de generalizar para domínios especializados (Finanças, Medicina, Engenharia de Software) e protocolos não vistos durante o treinamento, superando modelos especialistas treinados especificamente para essas tarefas.
  • No benchmark Toolathlon (zero-shot com 604 ferramentas e ambientes stateful), o DIVE-8B saltou de ~1% para 8.3%, aproximando-se de modelos muito maiores (como GPT-OSS-120B).

• Análise de Diversidade Estrutural:

  • O DIVE gerou trajetórias com cobertura de ferramentas 186x maior e 46.000x mais combinações de conjuntos de ferramentas únicas em comparação com métodos tradicionais.
  • O RL amplificou a exploração de padrões estruturais complexos (grafos de chamadas de ferramentas e topologias de recuperação/processamento), evitando que o modelo colapse em rotinas rígidas.

5. Significância e Impacto

O trabalho DIVE representa um avanço fundamental na criação de agentes de IA generalizáveis. Ao demonstrar que a diversidade estrutural é mais crítica do que o volume bruto de dados, o artigo oferece um novo paradigma para a síntese de dados de treinamento.

A abordagem de "evidência primeiro" resolve o problema de validação em larga escala, permitindo o treinamento de agentes em ambientes de ferramentas reais e complexas sem o custo proibitivo de verificação manual. Isso abre caminho para agentes mais robustos capazes de operar em cenários do mundo real, onde as ferramentas e os tipos de tarefas variam dinamicamente, superando a limitação de modelos que apenas memorizam rotinas de domínios específicos.