OpenSeeker: Democratizing Frontier Search Agents by Fully Open-Sourcing Training Data

O OpenSeeker é o primeiro agente de busca totalmente open-source que democratiza o acesso a modelos de ponta, alcançando desempenho superior ao de concorrentes industriais e de outras soluções abertas através de uma abordagem inovadora de síntese de dados factuais e trajetórias limpas, treinada com apenas 11.7 mil amostras.

O essencial

Imagine que o mundo da Inteligência Artificial (IA) é como uma grande escola de detetives. Para se tornarem mestres em encontrar informações na internet (o que chamamos de "agentes de busca"), esses detetives precisam de dois coisas: um cérebro inteligente (o modelo de IA) e livros de casos de treinamento (os dados).

Por muito tempo, apenas as grandes empresas de tecnologia (como Google e OpenAI) tinham acesso aos melhores livros de casos. Elas criavam seus próprios detetives, mas mantinham os segredos de como treiná-los trancados a sete chaves. A comunidade de pesquisa, por outro lado, tinha que tentar aprender com livros rasos ou incompletos, o que impedia que seus próprios detetives se tornassem tão bons quanto os das empresas.

OpenSeeker é o projeto que quebrou esse monopólio. É como se um grupo de professores universitários decidisse: "Chega de segredos! Vamos criar o melhor livro de casos do mundo e dar de graça para todos."

Aqui está como eles fizeram isso, usando analogias simples:

1. O Problema: A Fome de Dados de Qualidade

Antes do OpenSeeker, os pesquisadores tinham modelos inteligentes, mas sem bons exemplos para treinar. Era como tentar ensinar alguém a pilotar um avião apenas com desenhos de papelão, enquanto as companhias aéreas treinavam seus pilotos em simuladores de última geração.

2. A Solução: Duas Inovações Mágicas

Os criadores do OpenSeeker desenvolveram duas técnicas principais para criar seus "livros de casos" (dados de treinamento):

A. A "Caça ao Tesouro" Controlada (Síntese de Perguntas)

Em vez de apenas pegar perguntas aleatórias da internet, eles criaram um sistema para gerar desafios complexos e controlados.

• A Analogia: Imagine que a internet é uma cidade gigante com milhões de ruas e prédios.
  • Mapeamento: Eles começam escolhendo um ponto de partida aleatório (um prédio).
  • Expansão: Em vez de olhar apenas para a fachada, eles exploram todas as ruas conectadas a esse prédio, criando um mapa de um bairro inteiro.
  • O Enigma: Eles pegam informações desse bairro e criam um quebra-cabeça. Mas aqui está o truque: eles "escondem" os nomes das ruas e dos prédios (ofuscação).
  • O Resultado: O detetive (a IA) não pode apenas olhar uma placa e responder. Ele é obrigado a seguir pistas, cruzar várias ruas e conectar pontos distantes para descobrir a resposta. Isso força a IA a pensar em vários passos, não apenas a "chutar" uma resposta.

B. O "Tradutor de Ruído" (Síntese de Trajetórias Limpas)

Quando uma IA busca na internet, ela recebe toneladas de lixo: anúncios, pop-ups, textos irrelevantes e erros. É como tentar ouvir uma conversa importante em um show de rock muito alto.

• A Analogia: Imagine que você está ensinando um aluno a encontrar algo em uma sala bagunçada.
  • O Problema: Se você mostrar a sala cheia de lixo para o aluno e pedir para ele encontrar o objeto, ele vai se distrair.
  • O Método OpenSeeker: Eles usam um "professor assistente" (uma IA mais forte) que primeiro limpa a sala, remove o lixo e resume o que é importante. O professor usa essa sala limpa para ensinar o aluno o caminho correto.
  • O Treino Real: Depois de ensinar o caminho com a sala limpa, eles pegam o aluno e o colocam de volta na sala cheia de lixo (os dados brutos da internet) e dizem: "Agora, encontre o caminho sozinho!".
  • O Resultado: O aluno aprende a ignorar o ruído e focar no que importa, desenvolvendo uma habilidade superpoderosa de filtrar informações.

3. O Resultado: O Milagre Acadêmico

O incrível sobre o OpenSeeker é o quanto eles conseguiram fazer com pouco:

• Eles treinaram seu modelo usando apenas 11.700 exemplos (um número pequeno comparado aos bilhões que as empresas usam).
• Eles usaram apenas uma técnica simples de treinamento (chamada SFT), sem precisar de métodos caros e complexos.
• O Veredito: Mesmo assim, o OpenSeeker superou modelos de empresas gigantes em testes de busca complexa. Em um teste de busca em chinês, ele bateu até o modelo "DeepResearch" da Alibaba, que foi treinado com recursos infinitos.

4. Por que isso é importante?

O OpenSeeker não é apenas um modelo de IA; é um movimento de democratização.

• Transparência Total: Eles liberaram o código, o modelo e, o mais importante, todos os dados de treinamento.
• Fim do Segredo: Agora, qualquer pessoa, em qualquer lugar, pode pegar esses dados, estudar como eles foram feitos e criar seus próprios agentes de busca de ponta.

Em resumo: O OpenSeeker provou que você não precisa ser uma corporação bilionária para criar a melhor IA de busca do mundo. Você só precisa de dados inteligentes, criativos e transparentes. Eles transformaram a "receita secreta" das grandes empresas em um livro de receitas aberto para todo o mundo cozinhar.

Resumo técnico

Resumo Técnico: OpenSeeker

1. O Problema

O desenvolvimento de agentes de IA com capacidades de "pesquisa profunda" (deep search) tornou-se uma competência essencial para os Modelos de Linguagem de Grande Escala (LLMs) mais avançados. No entanto, o progresso nesta área tem sido dominado quase exclusivamente por grandes corporações industriais (como OpenAI, Google e Alibaba), criando um "jogo de portas fechadas".

As principais barreiras para a comunidade de pesquisa acadêmica e de código aberto são:

• Escassez de Dados Transparentes: Embora alguns modelos de pesos abertos existam, os dados de treinamento de alta qualidade (especialmente trajetórias de raciocínio complexas) são mantidos em segredo.
• Qualidade Insuficiente: Os dados de código aberto existentes frequentemente carecem de fidelidade, complexidade de raciocínio ou são apenas parcialmente disponibilizados, impedindo o treinamento de agentes competitivos.
• Monopólio Corporativo: A falta de dados de treinamento completos e de alta fidelidade tem estagnado a inovação na comunidade de código aberto, impedindo que agentes acadêmicos rivalizem com soluções industriais.

2. Metodologia

O OpenSeeker introduz uma solução completa que inclui o modelo, os pesos e, crucialmente, todo o conjunto de dados de treinamento. A metodologia baseia-se em duas inovações técnicas centrais para a síntese de dados:

A. Síntese de QA Escalável, Controlável e Fundamentada em Fatos (Fact-Grounded Scalable Controllable QA Synthesis)

O objetivo é gerar pares de Pergunta-Resposta (QA) complexos que exijam raciocínio multi-hop (múltiplos passos) e não possam ser resolvidos apenas por correspondência de padrões superficiais. O processo funciona da seguinte forma:

1. Expansão do Gráfico Web: O sistema começa com uma página semente aleatória em um corpus web massivo e expande topologicamente para identificar clusters de informação interconectados.
2. Extração de Entidades: As informações são destiladas em um "Subgrafo de Entidades", removendo ruído textual e mantendo apenas a lógica estrutural.
3. Geração de Perguntas: Um gerador cria perguntas iniciais que exigem a traversão de múltiplas arestas no subgrafo para serem respondidas.
4. Obfuscação de Entidades: Para evitar que agentes usem "atalhos" baseados em palavras-chave específicas, as entidades concretas são transformadas em referências vagas e descritivas. Isso força o agente a navegar pelo gráfico de informações para desambiguar e encontrar a resposta.
5. Verificação Dual: As amostras passam por um processo de rejeição para garantir:
   • Dificuldade: Um modelo base não consegue responder sem ferramentas externas.
   • Solvabilidade: Um modelo com acesso total ao contexto do subgrafo consegue responder corretamente (garantindo que a lógica é válida).

B. Síntese de Trajetória Desruída (Denoised Trajectory Synthesis)

Para ensinar o agente a lidar com o ruído inerente às respostas de ferramentas da web (HTML bruto, anúncios, conteúdo irrelevante), o método emprega uma estratégia assimétrica:

1. Fase de Síntese (Professor): Um LLM "mestre" gera trajetórias de raciocínio e ações baseadas em um histórico desruído (onde respostas anteriores de ferramentas foram resumidas por um segundo LLM). Isso permite que o professor foque em gerar o raciocínio "dourado" ideal.
2. Fase de Treinamento (Aluno): O modelo final é treinado para prever essas mesmas ações e raciocínios, mas condicionado ao histórico bruto e ruidoso (respostas originais das ferramentas).
3. Objetivo: Isso força o modelo a aprender a extrair sinais essenciais e "ver através do ruído" internamente, desenvolvendo capacidades robustas de extração de informação.

3. Contribuições Principais

• Primeiro Agente de Pesquisa de Ponta Totalmente Aberto: O OpenSeeker é o primeiro trabalho de uma equipe puramente acadêmica a alcançar desempenho de ponta em benchmarks de busca, disponibilizando todo o pipeline de síntese, o conjunto de dados completo (perguntas, respostas e trajetórias) e os pesos do modelo.
• Inovações na Síntese de Dados: Propõe duas técnicas novas (QA fundamentada em fatos e síntese de trajetória desruída) que permitem a geração automática de dados de treinamento de alta fidelidade em escala.
• Desafio ao Monopólio de Dados: Demonstra que a síntese estratégica de dados pode preencher a lacuna de desempenho entre esforços acadêmicos e industriais, democratizando o acesso à inteligência de busca avançada.

4. Resultados Experimentais

O modelo OpenSeeker-v1-30B-SFT foi treinado apenas uma vez, utilizando Supervised Fine-Tuning (SFT) simples em 11.7 mil amostras sintetizadas (10.3k em inglês e 1.4k em chinês), sem filtragem heurística complexa ou otimização de hiperparâmetros.

Desempenho em Benchmarks:

• BrowseComp (Inglês): 29.5% (Supera o segundo melhor agente de código aberto, DeepDive, que obteve 15.3%).
• BrowseComp-ZH (Chinês): 48.4% (Supera o Tongyi DeepResearch da Alibaba, que usa um pipeline complexo de Pré-treinamento Contínuo + SFT + RL e obteve 46.7%).
• xbench-DeepSearch: 74.0% (Melhor desempenho entre todos os agentes testados).
• WideSearch: 59.4% (F1 do item).

Comparação com a Indústria:
O OpenSeeker supera ou iguala modelos proprietários massivos (como OpenAI-o3 e Claude-4.5) e modelos de código aberto de grande escala (>30B parâmetros) que utilizam pipelines de treinamento muito mais complexos e custosos. É notável que o OpenSeeker atinge esses resultados com apenas SFT e um conjunto de dados 10x menor que alguns concorrentes (ex: MiroThinker com 147k amostras).

5. Significado e Impacto

• Democratização da Pesquisa: Ao liberar totalmente os dados e o modelo, o OpenSeeker remove a "moeda de dados" que as corporações usam para manter a vantagem competitiva, permitindo que a comunidade acadêmica e de código aberto reproduza e melhore esses resultados.
• Eficiência de Dados: O trabalho prova que a qualidade dos dados de treinamento (fidelidade, complexidade estrutural e desruído) é mais importante do que a quantidade bruta ou o uso de técnicas de RL complexas.
• Futuro da Inteligência Autônoma: Estabelece um novo padrão para o desenvolvimento de agentes, mostrando que é possível construir sistemas de busca de nível fronteiriço de forma transparente e colaborativa, sem depender de segredos industriais.

Em resumo, o OpenSeeker não é apenas um novo modelo, mas uma infraestrutura completa de dados que visa reequilibrar o ecossistema de pesquisa de agentes de IA, provando que a síntese de dados de alta qualidade pode superar barreiras de recursos industriais.