Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

O artigo apresenta o Graph2Eval, um framework baseado em grafos de conhecimento que gera automaticamente tarefas multimodais escaláveis e semanticamente consistentes para avaliar agentes de IA, superando as limitações de alucinação e inconsistência dos métodos tradicionais de geração via LLM.

O essencial

Imagine que você é um professor tentando testar a inteligência de um aluno muito avançado, um robô chamado "Agente". Até agora, para testar esse robô, você usava sempre o mesmo conjunto de exercícios (um banco de dados estático).

O problema? O robô pode ter "decorado" as respostas em vez de realmente aprender a raciocinar. É como se ele tirasse 10 em matemática porque memorizou a tabela de multiplicação, mas não sabe aplicar a lógica em uma situação nova.

Aqui entra o Graph2Eval, uma nova ferramenta criada por pesquisadores para resolver esse problema. Vamos explicar como funciona usando uma analogia simples:

1. O Problema: A "Fábrica de Questões" Quebrada

Antes, tentavam criar novos testes usando Inteligência Artificial (LLMs) para inventar perguntas. Mas essas IAs às vezes "alucinam" (inventam coisas que não existem) ou criam perguntas sem sentido, como pedir para encontrar um botão em um site que não tem botão. É como pedir para um cozinheiro fazer um bolo, mas esquecer de colocar farinha na receita.

2. A Solução: O "Mapa do Tesouro" (O Grafo de Conhecimento)

Os autores criaram o Graph2Eval. Pense nele como um mapa de tesouro gigante e super organizado.

• O Mapa (Grafo de Conhecimento): Em vez de apenas jogar textos e imagens soltos na mesa, eles transformaram documentos e sites em um mapa conectado. Cada "ilha" no mapa é uma informação (um parágrafo, uma foto, um botão de "comprar") e as "pontes" são as conexões entre elas (este botão leva àquela página; este parágrafo explica aquela tabela).
• Por que isso é legal? Porque o mapa garante que tudo faz sentido. Se o robô precisa clicar em um botão para ver um preço, o mapa sabe exatamente onde o botão e o preço estão conectados. Nada é inventado; tudo é baseado na estrutura real dos dados.

3. Como Funciona a "Caça ao Tesouro" (Geração de Tarefas)

O Graph2Eval não cria perguntas do nada. Ele usa o mapa para "pescar" partes específicas:

1. Amostragem (Pescar o Tesouro): O sistema escolhe um pedaço do mapa (um subgrafo).
   • Para documentos: Ele pega um trecho de um PDF e cria uma pergunta de compreensão.
   • Para a web: Ele pega uma sequência de ações (ex: clicar em "Login" -> digitar senha -> clicar em "Entrar") e cria um desafio de navegação.
2. O Roteiro (Templates): Ele usa modelos pré-definidos, como se fosse um "molde" de receita. O molde diz: "Pegue 3 ilhas do mapa e conecte-as com uma ponte de comparação".
3. O Chefe de Cozinha (IA): Uma Inteligência Artificial pega esse pedaço do mapa e o molde, e escreve a tarefa final para o Agente (o robô) resolver.

4. O Grande Teste: O "Banco de Prova" (Graph2Eval-Bench)

Com essa máquina, eles criaram um novo banco de testes chamado Graph2Eval-Bench, com mais de 1.300 tarefas.

• O que eles descobriram?
  • As tarefas criadas por esse método são 20% mais coerentes (fazem mais sentido) e 17% mais resolvíveis do que as criadas pelos métodos antigos.
  • O teste consegue diferenciar claramente quais robôs são "gênios" e quais são apenas "decoradores". Por exemplo, um robô chamado Agent S 2.5 (que tem memória e capacidade de refletir sobre seus erros) se saiu muito melhor do que robôs mais simples, provando que o teste realmente mede inteligência e não apenas sorte.

Resumo em uma Analogia Final

Imagine que você quer testar a habilidade de um piloto de avião:

• Método Antigo: Você dá a ele sempre o mesmo simulador de voo com o mesmo aeroporto. Ele decora os botões e passa no teste, mas não sabe voar em uma tempestade nova.
• Método Graph2Eval: Você usa um mapa de tráfego aéreo global real (o Grafo). O sistema gera automaticamente um novo cenário de voo: "Voar de São Paulo para Tóquio, desviando de uma tempestade e aterrissando em um aeroporto com neblina". Como o cenário é baseado em dados reais e conexões lógicas, o piloto não pode apenas decorar; ele precisa realmente saber pilotar.

Conclusão: O Graph2Eval é uma ferramenta que usa mapas de dados inteligentes para criar testes de "inteligência real" para robôs, garantindo que eles não estejam apenas chutando as respostas, mas sim entendendo o mundo ao seu redor.

Resumo técnico

Título: Graph2Eval: Geração Automática de Tarefas Multimodais para Agentes via Grafos de Conhecimento

1. O Problema

À medida que os agentes impulsionados por Modelos de Linguagem Multimodais (MLLMs) avançam em autonomia e generalização, os métodos tradicionais de avaliação enfrentam limitações críticas:

• Limitações de Escalabilidade e Estática: Conjuntos de dados estáticos existentes não conseguem acompanhar a complexidade e a diversidade das tarefas do mundo real, nem avaliar adequadamente a capacidade de generalização dos agentes.
• Viés de Memorização: A avaliação em conjuntos de dados fixos pode confundir a familiaridade superficial com a verdadeira capacidade cognitiva, permitindo que agentes "memoricem" respostas em vez de demonstrar raciocínio genuíno.
• Falhas na Geração Sintética Atual: Métodos existentes que utilizam LLMs para gerar tarefas sintéticas sofrem de:
  1. Inconsistência Semântica: Devido à falta de modelagem explícita das relações entre entidades, as tarefas geradas frequentemente contêm contradições ou são semanticamente ambíguas.
  2. Problemas de Solvabilidade: A ausência de modelagem de dependências internas e de ambientes dinâmicos resulta em tarefas que não podem ser resolvidas ou que não transferem bem para cenários reais (especialmente na web).
  3. Dependência de Anotação Humana: A construção de benchmarks dinâmicos ainda depende excessivamente de esforço manual, limitando a diversidade e a atualização rápida.

2. Metodologia: O Framework Graph2Eval

O Graph2Eval é um framework baseado em Grafos de Conhecimento (KG) projetado para gerar tarefas de agentes de forma automática, escalável e semanticamente fundamentada. O fluxo de trabalho consiste em cinco etapas principais:

A. Ingestão de Dados e Construção do KG

• Fontes Heterogêneas: O sistema processa documentos (PDFs, artigos) e dados da web (páginas, DOM, capturas de tela).
• Estruturação: O conteúdo não estruturado é transformado em nós e arestas.
  • Documentos: Segmentação semântica (parágrafos, tabelas, figuras) e anotação de metadados.
  • Web: Extração de estrutura DoM, interações simuladas e captura de screenshots.
• Representação: Nós contêm conteúdo textual e visual (convertido para texto via descrições). As arestas capturam relações estruturais, semânticas e interativas (ex: navegação, cliques).

B. Amostragem de Subgrafos (Subgraph Sampling)
Para gerar uma tarefa específica, o sistema extrai um subgrafo local relevante do KG global:

• Para Tarefas de Documentação: Utiliza similaridade semântica (embeddings) e coerência estrutural para selecionar nós relevantes.
• Para Tarefas Web (Interação): Utiliza uma estratégia orientada a sementes (seed-driven). Identifica nós operacionais (botões, formulários) como sementes e coleta seus vizinhos (k-hop) para capturar o contexto de interação local.

C. Geração de Tarefas
O sistema utiliza Modelos de Linguagem (LLMs) combinados com Templates de Tarefa e Meta-caminhos (Meta-paths):

• Templates: Definem a estrutura da tarefa (ex: compreensão, extração, comparação) e os requisitos do subgrafo (tipos de nós, contagem, distância).
• Meta-paths (Web): Padrões de regex em grafos que mapeiam sequências de interação (ex: Caixa de Busca -> Botão Submeter -> Resultados). Isso garante que a tarefa gerada tenha um fluxo lógico executável.
• Engenharia de Contexto: O LLM integra a estrutura do subgrafo amostrado com o contexto visual/textual para criar instâncias de tarefas diversificadas e bem formadas.

D. Otimização de Cobertura e Filtragem
Um pipeline de filtragem multi-estágio garante a qualidade:

• Análise de Alcançabilidade: Verifica se os nós e arestas necessários para a tarefa são acessíveis.
• Avaliação de Qualidade: Uso de LLMs e análise de similaridade (MMR - Maximal Marginal Relevance) para garantir diversidade e evitar duplicatas.
• Verificação de Solvabilidade: Garante que a tarefa possa ser concluída com as informações disponíveis no contexto.

3. Contribuições Principais

1. Novo Paradigma de Geração: Propõe o uso de Grafos de Conhecimento como um "espaço de tarefas latente", resolvendo problemas de consistência semântica e solvabilidade que afetam métodos puramente baseados em LLMs.
2. Framework Unificado (Graph2Eval): Um pipeline reprodutível que suporta a geração de tarefas para dois cenários distintos:
   • Agentes RAG (Retrieval-Augmented Generation): Focados em compreensão de documentos.
   • Agentes Web: Focados em interações multi-etapa em ambientes dinâmicos.
3. Graph2Eval-Bench: A criação de um novo benchmark contendo 1.319 tarefas (1.002 de compreensão de documentos e 317 de interação web), cobrindo uma ampla gama de tipos de tarefas e dificuldades.
4. Validação Empírica: Demonstração de que o framework gera tarefas mais consistentes e solucionáveis, permitindo uma avaliação mais precisa da capacidade de generalização dos agentes.

4. Resultados Experimentais

Os experimentos foram realizados em diversos modelos (GPT-4o, DeepSeek, Qwen-VL, Gemini, etc.) e configurações (Agente Único vs. Multi-Agente).

• Melhoria na Qualidade das Tarefas: Comparado a uma linha de base sem KG (KG-free), o Graph2Eval melhorou a consistência semântica em 20% e a solvabilidade em 17%.
• Eficiência: O tempo médio de geração é de 34,87 segundos para tarefas de documentos e 95,51 segundos para tarefas web, demonstrando viabilidade para criação de grandes conjuntos de dados.
• Capacidade Discriminativa: O Graph2Eval-Bench consegue distinguir claramente o desempenho entre diferentes modelos e arquiteturas:
  • Em tarefas web, o Agent S 2.5 (com mecanismos de reflexão e memória) superou significativamente o SoM Agent (focado apenas em localização visual), com taxas de sucesso de 69,20% contra 14,51% no modelo Gemini 2.5 Flash.
  • O benchmark revelou que modelos menores ou sem mecanismos de raciocínio profundo falham em tarefas que exigem múltiplos passos e planejamento, enquanto modelos maiores ou com arquitetura multi-agente performam melhor.
• Avaliação Humana vs. Automática: A avaliação por LLMs (LLM-as-a-Judge) mostrou alta correlação com anotações humanas (88% de concordância), validando a métrica de sucesso.

5. Significado e Impacto

O Graph2Eval representa um avanço significativo na avaliação de agentes de IA multimodais:

• Superação da Estática: Oferece uma solução escalável para criar conjuntos de dados dinâmicos que não dependem exclusivamente de anotação humana cara e lenta.
• Foco na Generalização Real: Ao garantir a solvabilidade e a consistência semântica através de grafos estruturados, o benchmark testa a verdadeira capacidade de raciocínio e adaptação dos agentes, em vez de sua capacidade de memorização.
• Padrão para Avaliação Web e Documentos: Estabelece uma nova base para comparar agentes em cenários complexos de interação web e compreensão de documentos, destacando a importância de arquiteturas com reflexão e memória para tarefas multi-etapa.
• Segurança e Futuro: O framework é projetado para incorporar políticas de segurança e pode ser expandido para gerar tarefas de teste de robustez contra ataques adversariais.

Em resumo, o trabalho demonstra que a modelagem estruturada de dados via Grafos de Conhecimento é essencial para a geração de benchmarks de agentes confiáveis, escaláveis e semanticamente ricos, preenchendo uma lacuna crítica na pesquisa atual de agentes autônomos.