🤖 AI

Search Beyond What Can Be Taught: Evolving the Knowledge Boundary in Agentic Visual Generation

Este artigo aborda o gargalo de conhecimento de mundo estrutural na geração visual ao introduzir o benchmark e o corpus SearchGen, demonstrando que a busca ingênua falha devido à recuperação indiscriminada, e propondo um framework de co-treinamento de ensinar-então-buscar que descobre dinamicamente o limite de conhecimento de um gerador para permitir a geração visual agêntica eficaz.

Autores originais: Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

Publicado 2026-07-09

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haozhe Wang, Weijia Feng, Jinpeng Yu, Che Liu, Ping Nie, Fangzhen Lin, Jiaming Liu, Ruihua Huang, Jimmy Lin, Wenhu Chen, Cong Wei

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema Central: O Artista "Farsante Confiante"

Imagine que você contrata um artista brilhante que memorizou todos os livros de uma biblioteca gigantesca. Ele consegue desenhar qualquer coisa dessa biblioteca perfeitamente. Mas, se você pedir para ele desenhar algo que aconteceu ontem (como uma celebridade nova) ou algo muito específico que nunca foi registrado em um livro (como o festival de uma cidade local), ele não diz: "Eu não sei". Em vez disso, ele inventa com confiança uma versão falsa que parece real, mas que está completamente errada.

Este é o problema dos atuais geradores de imagens de IA. Eles são ótimos em renderizar (desenhar a imagem), mas são péssimos em conhecimento (saber os fatos). Eles estão presos a uma "data de corte" em sua memória. Se você pedir as classificações da Copa do Mundo de 2025, eles não podem saber, porque seus dados de treinamento pararam antes de 2025.

A Solução: Dar um Mecanismo de Busca ao Artista

A solução óbvia parece simples: "Vamos dar ao artista um mecanismo de busca para que ele possa pesquisar os fatos antes de desenhar".

No entanto, os autores descobriram que a busca ingênua torna as coisas piores.

A Analogia: Imagine pedir a um chef que cozinhe um bife. Se você apenas despejar um monte de ingredientes aleatórios (resultados de busca) na bancada dele, ele pode ficar confuso. Ele pode usar um tomate quando não precisava, ou copiar a foto inteira de um bento que você mostrou a ele em vez de usar apenas como referência para a cor.
O Resultado: A IA recebe "ruído". Ela começa a copiar coisas erradas ou a se confundir com informações que já conhecia, levando a imagens piores do que se tivesse apenas tentado lembrar por conta própria.

A Descoberta: A "Fronteira do Conhecimento"

O artigo introduz um conceito inteligente chamado Fronteira do Conhecimento (Knowledge Boundary). Pense no cérebro da IA como uma casa com duas salas:

A Sala da Memória (Interna): Coisas que a IA aprendeu e consegue desenhar de memória (ex: como é um gato).
A Sala de Referência (Externa): Coisas que a IA precisa pesquisar porque são muito novas, raras ou específicas (ex: a roupa específica de um personagem de um jogo lançado na semana passada).

O problema é: A IA não sabe onde está a parede entre essas duas salas.

Se ela pesquisa coisas que já conhece, ela se confunde (ruído).
Se ela não pesquisa coisas que não conhece, ela falsifica a resposta.

A Correção: Uma Equipe de "Ensinar-Depois-Pesquisar"

Os autores criaram um sistema com duas partes trabalhando juntas:

O Raciocinador (O Gerente): Um agente de IA que decide quando pesquisar e o que pesquisar.
O Gerador (O Artista): A IA que realmente desenha a imagem.

Eles usaram um método especial de treinamento chamado Co-Treinamento (Co-Training) para ensinar como eles devem trabalhar juntos. Isso acontece em duas fases:

Fase 1: Ensinar o Artista (Expandir a Memória)
Primeiro, eles mostram ao Artista exemplos de coisas que ele não sabia, junto com os resultados de busca corretos. O Artista aprende a memorizar essas novas coisas.

Resultado: A "Sala da Memória" fica maior. O Artista agora conhece mais coisas sem precisar pesquisar.

Fase 2: Treinar o Gerente (Refinar a Busca)
Agora que o Artista conhece mais coisas, o Gerente precisa aprender a parar de pesquisar por essas coisas novas. Se o Gerente continuar pesquisando coisas que o Artista já sabe, isso causa confusão.

Resultado: O Gerente aprende a dizer: "Eu sei que o Artista consegue lidar com isso, não precisa pesquisar!" e só pesquisa o que é verdadeiramente difícil.

A Analogia: O Aprendiz e o Mestre

Imagine um Mestre Pintor (o Gerador) e um Assistente de Pesquisa (o Raciocinador).

Antes: O Assistente entrega cegamente ao Mestre uma pilha de 50 fotos de referência para cada pedido. O Mestre fica sobrecarregado e pinta uma bagunça.
Após o Co-Treinamento:
1. O Mestre estuda as fotos e aprende a pintá-las de memória.
2. O Assistente aprende a observar as novas habilidades do Mestre. Se o Mestre consegue pintar um "dragão vermelho" de memória, o Assistente não entrega uma foto.
3. O Assistente só entrega uma foto se o Mestre for solicitado a pintar um "dragão de um videogame lançado ontem".

Os Resultados: Por que Isso Importa

Os autores testaram isso em um novo conjunto de dados massivo chamado SEARCHGEN-20K, que contém 20.000 pedidos difíceis sobre eventos novos, personagens específicos e símbolos culturais.

A Lacuna: Os modelos de IA padrão pontuaram muito baixo (cerca de 20–28 de 100) nesses pedidos novos e carregados de conhecimento. Eles falharam porque tentaram falsificar os fatos.
A Melhoria: Ao usar este método de "Ensinar-Depois-Pesquisar", a pontuação da IA melhorou significamente.
A Descoberta Chave: O sistema aprendeu a ser seletivo. Ele parou de pesquisar quando não precisava (evitando confusão) e pesquisou quando era necessário (evitando falsificações).

Resumo

O artigo argumenta que não devemos apenas construir modelos de IA maiores que tentem memorizar tudo. Em vez disso, devemos construir equipes inteligentes onde a IA aprende o que ela pode lembrar e o que ela deve pesquisar. Ao treinar o "pesquisador" e o "desenhista" juntos, o sistema aprende seus próprios limites, para de inventar fatos e só usa a internet quando realmente precisa.

Em resumo: Não apenas dê à IA um mecanismo de busca; ensine-a quando usá-lo.

Resumo Técnico: Buscar Além do que Pode Ser Ensinado: Evoluindo a Fronteira do Conhecimento na Geração Visual Agêntica

1. Declaração do Problema: O Gargalo do Conhecimento de Mundo

Geradores visuais são excelentes em renderizar conceitos conhecidos, mas falham catastroficamente em solicitações que exigem conhecimento de mundo ilimitado, em evolução e de cauda longa (ex: eventos recentes, símbolos culturais de nicho ou personagens específicos de IP). Este é um gargalo estrutural: os geradores são treinados em corpora fixos com cortes de conhecimento inerentes, enquanto as solicitações dos usuários são abertas.

O artigo identifica que os geradores atuais carecem de um mecanismo para reconhecer o que não sabem. Consequentemente, eles "fabricam com confiança" respostas em vez de admitir ignorância ou buscar informações externas. Os benchmarks existentes falham em capturar essa dinâmica, pois testam primariamente a renderização dentro de conceitos conhecidos. Quando testados em prompts intensivos de busca, geradores de pesos abertos de fronteira colapsam, pontuando apenas 21–28 de 100, uma queda de até 40 pontos em comparação ao seu desempenho em prompts padrão.

Um remédio ingênuo — equipar geradores com ferramentas de busca — falha porque introduz ruído de busca. A recuperação cega de informações para cada prompt degrada a qualidade ao injetar detalhes visuais irrelevantes, contaminação de estilo ou estruturas espúrias na entrada do gerador. O desafio central não é apenas recuperar conhecimento, mas definir uma fronteira de conhecimento evolutiva e específica do gerador: a divisão entre o que um gerador pode internalizar através de treinamento e o que deve permanecer no contexto externo.

2. Metodologia

O artigo propõe o SearchGen, um framework para geração visual agêntica que emprega um raciocinador agêntico resistente ao ruído e um framework de co-treinamento para descobrir e respeitar a fronteira do conhecimento.

2.1 Construção de Dataset e Benchmark

Para estudar sistematicamente este problema, os autores construíram:

SEARCHGEN-20K: Um dataset de 20.839 prompts fundamentados em conhecimento de mundo abrangendo 12 categorias de falha e 22 domínios (ex: eventos temporais, entidade/IP, especificidade cultural). Inclui 34.694 slots de referência visual e 16.345 slots de conhecimento textual.
SEARCHGEN-BENCH: Um benchmark derivado do dataset para avaliar o embasamento de conhecimento de mundo.
SEARCHGEN-CORPUS-1M: Um corpus multimodal pré-executado e congelado contendo 145.642 sessões de busca arquivadas e 370.733 downloads em cache. Isso permite pesquisa reprodutível e offline sem dependência de APIs ao vivo ou resultados de busca erráticos.

2.2 Raciocinador Agêntico Resistente ao Ruído

Para evitar que o ruído de busca corrompa a geração, os autores introduzem um protocolo de três estágios Gate–Filter–Integrate (Portão–Filtro–Integração):

Gate (Portão): O raciocinador (um VLM) analisa o prompt para identificar lacunas de conhecimento. Ele classifica as lacunas por tipo e severidade, disparando a busca apenas para lacunas "críticas" ou "importantes". Ele decide a modalidade (imagem vs. texto da web) para cada consulta.
Filter (Filtro): Após recuperar os resultados, o raciocinador seleciona referências que preenchem especificamente a lacuna identificada, minimizando conteúdo estranho (ex: filtrando imagens completas para extrair apenas as características visuais necessárias).
Integrate (Integração): Em vez de passar imagens brutas diretamente, o raciocinador converte as referências visuais em citações de linguagem natural fundamentadas (ex: "renderize o personagem em um manto azul-petróleo e dourado seguindo a Imagem I"). Isso preserva o conhecimento ausente enquanto descarta o ruído de nível de pixel que causa vazamento de estilo ou mistura de identidade.

2.3 Framework de Co-Treinamento: "Ensinar, Depois Buscar"

Os autores definem a Fronteira de Conhecimento $B(\theta)$ como a partição entre o conhecimento internalizável ( $K_{int}$ ) e o conhecimento contextual ( $K_{ctx}$ ). Esta fronte verdade é específica do gerador e muda conforme o modelo melhora. Eles propõem um loop de co-treinamento de duas fases para descobrir esta fronteira:

Fase 1: Teach (DPO Iterativo Online)
O gerador visual é treinado em entradas aumentadas por busca usando Otimização de Preferência Direta (DPO). O gerador amostra múltiplas imagens por prompt, e pares de preferência são construídos com base em scores de qualidade. Esta fase serve a dois propósitos:
1. Internalização: Ela empurra a fronteira para fora, permitindo que o gerador internalize conhecimento visual estável que antes exigia busca.
2. Robustez ao Ruído: Ao treinar em entradas imperfeitas aumentadas por busca, o gerador aprende a incorporar referências sem ser dominado pelo seu ruído.
Fase 2: Search (Fine-tuning por Rejeição de Amostragem)
Uma vez que a fronteira do gerador tenha se deslocado, o raciocinador é recalibrado. Usando Fine-tuning de Rejeição de Amostragem (RFT), o raciocinador é treinado em trajetórias onde a política de busca melhorou o output (vantagem positiva) versus aquelas onde ela o degradou. O raciocionador aprende a abster-se de buscar conceitos que o gerador agora internalizou, efetivamente "movendo a política de busca para dentro" para coincidir com a nova fronteira.

3. Resultados Principais

O artigo valida o framework em dois geradores de pesos abertos (Flux.2-Klein-4B e Bagel-7B) usando o SEARCHGEN-BENCH.

Melhoria Monotônica: A progressão de No Search (Sem Busca) $\to$ Blind Search (Busca Cega - raciocinador SFT) $\to$ Generator-Adaptive Search (Busca Adaptativa ao Gerador - raciocinador RFT) produz ganhos consistentes e monotônicos em todos os níveis de dificuldade.
Seletividade: O raciocinador calibrado recupera com sucesso o desempenho em prompts que não requerem busca (estrato NoSearch), onde a busca ingênua anteriormente causava degradação. Por exemplo, no conjunto NoSearch, o raciocinador adaptativo melhorou as pontuações de 49.9 (baseline Sem Busca) para 56.9, enquanto a Busca Cega derrubou as pontuações para 60.4.
Especificidade do Gerador: A política de busca ideal é específica para a capacidade atual do gerador. Um raciocinador calibrado para um gerador fortalecido por DPO apresenta desempenho significativamente inferior quando pareado com o gerador base, confirmando que a fronteira é uma propriedade conjunta do par.
Lacunas de Desempenho:
- Geradores abertos com busca ingênua colapsam para ~22–28/100 em prompts intensivos de busca.
- O sistema co-treinado (raciocinador 8B + gerador 4B) atinge 31.8/100, excedendo ligeiramente um oráculo de fronteira (Gemini-3-Flash) pareado com o mesmo gerador (31.2/100).
- Embora ainda abaixo de sistemas comerciais com busca integrada (ex: GPT-Image-2 com 71.2), o framework demonstra que um agente pequeno e co-treinado pode se aproximar do desempenho de raciocinadores genéricos muito maiores.

4. Significância e Alegações

O artigo afirma que o desafio central na geração visual agêntica não é meramente recuperar informação, mas saber o que não se sabe.

Fronteira Descobrível: A fronteira de conhecimento não é uma propriedade fixa da distribuição de prompts, mas uma quantidade dinâmica e descobrível que muda com o treinamento do gerador.
Necessidade de Co-Treinamento: Os autores argumentam que as políticas de busca não podem ser otimizadas contra um gerador fixo; o gerador deve ser ensinado a internalizar o conhecimento primeiro, e o raciocinador deve então ser recalibrado para a nova fronteira.
Receita Minimalista: O framework valida que uma "receita minimalista" (uma passagem de DPO, uma passagem de RFT, um raciocinador de 8B e um gerador de 4B) é suficiente para estabelecer este loop de auto-melhoria.
Escalabilidade: O trabalho sugere que, embora modelos maiores possam internalizar mais conhecimento, a fronteira nunca desaparecerá devido à natureza infinita do mundo real. O co-treinamento fornece um mecanismo para adaptar continuamente a política de busca à capacidade em evolução do gerador.

Os autores liberam o dataset completo, o corpus de co-treinamento e o corpus de busca para servir como um "harness replicável" para pesquisas futuras em geração visual fundamentada em conhecimento de mundo e aumentada por ferramentas.