Resumo Técnico: K-BROWSECOMP

Declaração do Problema

Enquanto os modelos de linguagem de grande escala (LLMs) de fronteira estão deslocando o foco da avaliação das capacidades fundamentais (ex: seguimento de instruções, raciocínio) para tarefas composicionais e agentes, a comunidade de IA coreana carece de benchmarks padronizados para agentes de navegação na web. Os benchmarks coreanos existentes focam primariamente em compreensão de linguagem estática, conhecimento factual e raciocínio (ex: KorQuAD, KMMLU, CLIcK), falhando em avaliar a capacidade de recuperar informações específicas da região, manter estados de evidência e sintetizar informações através de múltiplas páginas da web. Além disso, os principais modelos globais frequentemente saturam os benchmarks centrados no inglês, obscurecendo a distinção entre avaliação de distribuição interna (in-distribution) e de distribuição externa (out-of-distribution). Há uma necessidade crítica de um benchmark fundamentado em contextos coreanos para medir o progresso na navegação de agentes e abordar as desvantagens estruturais que desenvolvedores coreanos enfrentam em relação ao conhecimento cultural e institucional local.

Metodologia

Os autores introduzem o K-BROWSECOMP, um benchmark de agentes de navegação na web consistindo em 400 problemas projetados para exigir recuperação e raciocínio de múltiplos passos dentro do ecossistema da web coreana. O benchmark é dividido em dois subconjuntos distintos:

1. K-BROWSECOMP-VERIFIED (300 Problemas)

Este subconjunto consiste de questões elaboradas manualmente e validadas por falantes nativos de coreano.

• Construção: Os anotadores seguiram diretrizes estritas exigindo que as questões fossem fundamentadas em contextos coreanos, suportadas por evidências textuais públicas da web, e difíceis de responder via busca direta, mas fáceis de verificar uma vez que o caminho da resposta seja conhecido.
• Formatos de Raciocínio: As questões exigem ou raciocínio de múltiplos saltos (multi-hop reasoning) (atravessar sequencialmente sites para encontrar entidades intermediárias) ou ramificação paralela (parallel-branching) (interceptar múltiplas restrições independentes para identificar uma resposta única).
• Restrições: Cada item deve ter uma resposta única e temporalmente estável. Os anotadores foram proibidos de usar LLMs para gerar questões ou depender de fontes privadas/pagas.
• Validação: Todos os itens foram verificados manualmente para garantir que a resposta de ouro (gold answer), as entidades intermediárias e as fontes citadas fossem recuperáveis a partir de evidências públicas da web. Itens com evidências inacessíveis ou inconsistentes foram rejeitados.

2. K-BROWSECOMP-SYNTHETIC (100 Problemas)

Este subconjunto aborda a dificuldade e o custo da construção manual ao utilizar LLMs para gerar problemas adversários baseados em modos de falha identificados.

• Motivação: Explorar a assimetria de informação onde resolver um problema de navegação é difícil, mas verificar uma resposta é mais fácil uma vez que o caminho da evidência é conhecido. Os autores hipotetizaram que gerar problemas difíceis também é difícil.
• Pipeline de Geração:
  • Dados Semente: Utilizou páginas de origem de ouro do conjunto Verified e uma taxonomia de nove modos de falha (F1–F8) identificados a partir dos erros dos modelos no conjunto Verified (ex: direção de busca ineficaz, falha de salto entre fontes, falha de rastreamento de restrições).
  • Agente Proponente: Um agente LLM de navegação na web (Claude Code) foi incumbido de redigir questões adversárias de trás para frente a partir das páginas semente, visando modos de falha específicos.
  • Filtragem: As questões geradas passaram por três filtros sequenciais:
    1. Pesquisabilidade: Garantiu que a resposta de ouro não aparecesse diretamente nos resultados de busca.
    2. Bem-formação: Confirmou que a resposta era extraível de forma única da página de origem.
    3. Dificuldade Adversária: Verificou que os modelos alvo (GPT-5.4-mini, Gemini-3.1-Flash-Lite) falharam em resolver a questão.
• Resultado: Apenas 100 de 268 candidatos gerados passaram em todos os filtros, resultando em uma divisão diagnóstica que visa especificamente o parsing semiestruturado e o rastreamento de restrições.

Principais Contribuições

1. Primeiro Benchmark Agêntico Coreano: O K-BROWSECOMP fornece o primeiro benchmark padronizado para avaliar agentes de navegação na web em contextos coreanos, cobrindo diversos domínios como entretenimento, educação, geografia local e conhecimento institucional.
2. Geração Direcionada a Modos de Falha: O artigo introduz uma metodologia para construir divisões diagnósticas sintéticas usando um agente de navegação para gerar problemas que exploram especificamente modos de falha recorrentes identificados em dados verificados por humanos.
3. Taxonomia de Falhas ao Nível de Trajetória: Os autores definem uma taxonomia detalhada de 9 modos de falha (F0–F8) ocorrendo ao nível de trajetória, variando de saídas incompletas e direções de busca ineficazes até saltos entre fontes e falhas de rastreamento de restrições.
4. Teste de Estresse Diagnóstico: A divisão SYNTHETIC serve como um teste de estresse direcionado, demonstrando que mesmo modelos capazes de resolver problemas verificados lutam contra variações adversárias geradas que exigem manutenção precisa de estado.

Resultados Experimentais

O benchmark foi avaliado em um conjunto diversificado de modelos proprietários e de pesos abertos, incluindo modelos de fronteira globais (GPT-5.5, DeepSeek-V4-Pro, GLM-5.1) e modelos específicos coreanos (K-EXAONE, A.X-4.0, HyperCLOVAX).

• Desempenho no Subconjunto Verificado:
  • Modelos de fronteira alcançaram baixa precisão, variando de 30,00% a 45,67%. O GPT-5.5 liderou com 45,67%, uma queda substancial em relação ao seu desempenho no benchmark original em inglês (BrowseComp) de 84,4%.
  • LLMs coreanos lançados através do projeto governamental "Proprietary AI Foundation Model Project" tiveram desempenho significativamente inferior, com pontuações variando de 0,00% a 10,33%.
• Desempenho no Subconjunto Sintético:
  • A precisão caiu ainda mais na divisão SYNTHETIC, com o modelo mais forte (GPT-5.5) atingindo apenas 26,00%. Nenhum modelo ultrapassou 30,00% nesta divisão.
• Análise de Falhas:
  • Esforço de Busca: Tentativas incorretas frequentemente consumiram mais chamadas de busca do que as corretas, sugerindo que as falhas não se devem a orçamentos de recuperação insuficientes, mas sim à incapacidade de fundir restrições ou preservar papéis de entidades após a recuperação.
  • Manutenção de Estado: O principal gargalo identificado é a falha em manter candidatos, restrições e vínculos de papéis ao longo de múltiplos turnos. Os modelos frequentemente recuperam evidências relevantes, mas falham em sintetizá-las em uma resposta final devido ao compromisso prematuro de candidatos ou ramos de evidência não fundidos.
  • Modelos Coreanos: Apesar de serem centrados na Coreia, os modelos de pesos abertos coreanos não mostraram vantagem clara sobre seus equivalentes globais neste cenário, falhando frequentemente em estágios específicos como protocolos de chamada de ferramenta, rastreamento de estado pós-recuperação ou finalização de resposta.

Significância e Alegações

O artigo afirma que o K-BROWSECOMP serve como um alvo diagnóstico crítico para o ecossistema de IA coreano. Os resultados indicam que os modelos atuais, mesmo os LLMs de fronteira de última geração, lutam com as demandas composicionais da navegação na web em contextos coreanos. A lacuna significativa de desempenho entre modelos globais e coreanos destaca a necessidade de desenvolvimento especializado em capacidades agênticas, em vez de apenas cobertura de linguagem ou conhecimento estático.

Os autores sustentam que o progresso nos agentes de navegação coreanos requer mecanismos mais fortes para a manutenção de estado ao nível de trajetória — especificamente, a capacidade de preservar conjuntos de candidatos, restrições e ponteiros de fonte ao longo de múltiplos turnos de busca. A divisão SYNTHETIC demonstra que a geração direcionada a modos de falha pode produzir itens diagnósticos úteis que expõem fraquezas persistentes não capturadas por benchmarks padrão. Os autores posicionam o K-BROWSECOMP como um recurso compartilhado para encorajar a priorização de capacidades de navegação de agentes ao lado do desempenho de benchmarks estáticos, visando, em última análise, construir agentes de navegação na web confiáveis para ambientes web coreanos.

O artigo conclui com limitações modestas, observando que o conjunto verificado é de escala modesta (300 itens) e possui cobertura de domínio desigual, e que o benchmark depende de um único harness de navegação e backend de busca, o que pode confundir a capacidade do modelo com a cobertura de recuperação e a confiabilidade da interface da ferramenta. A revalidação contínua é necessária devido à natureza dinâmica das evidências da web.