Comparative Analysis of AI Agent Architectures for Entity Relationship Classification

Resumo Técnico: Análise Comparativa de Arquiteturas de Agentes de IA para Classificação de Relações entre Entidades

1. Problema e Contexto

A classificação de relações entre entidades (Entity Relationship Classification) permanece uma tarefa desafiadora na extração de informações, especialmente em cenários com dados rotulados limitados (poucos exemplos ou zero-shot) e estruturas relacionais complexas. Embora os Modelos de Linguagem de Grande Escala (LLMs) demonstrem capacidades excepcionais em tarefas gerais, sua aplicação em domínios especializados (como literatura científica ou documentos financeiros) enfrenta dificuldades. Métodos tradicionais de aprendizado supervisionado e prompting estático (few-shot) muitas vezes carecem de adaptabilidade, interpretabilidade e mecanismos para correção interativa ou especialização direcionada.

2. Metodologia

Os autores realizaram uma avaliação empírica sistemática comparando três arquiteturas distintas baseadas em agentes de IA, todas projetadas para melhorar a classificação de relações sem depender de fine-tuning (ajuste fino) específico da tarefa. As arquiteturas exploradas foram:

• Arquitetura Gerador-Reflexão (Generator-Reflection):

  • Mecanismo: Utiliza dois agentes cooperativos. O Agente Gerador realiza a classificação inicial baseada no contexto da frase. O Agente Reflexão atua como um mecanismo de garantia de qualidade, criticando iterativamente as classificações e sugerindo correções.
  • Fluxo: Um loop de feedback iterativo (máximo de 3 ciclos) onde o Gerador revisa sua saída com base no feedback crítico do Agente Reflexão até atingir um critério de terminação.

• Arquitetura Multi-Agente Hierárquica (Hierarchical Multi-Agent):

  • Mecanismo: Emprega um Agente Orquestrador responsável por analisar a entrada e roteá-la dinamicamente para Agentes Especialistas.
  • Especialização: Cada Agente Especialista é treinado (via prompting) para lidar com um subconjunto específico de tipos de relações (ex: estrutura corporativa, interações comerciais, contexto de mercado).
  • Validação: O Orquestrador verifica se a classificação do Especialista está alinhada com sua especialização definida. Se houver inconsistência, o Orquestrador solicita uma reavaliação.

• Agente Gerador de Exemplos Dinâmicos (Dynamic-Example Generator Agent):

  • Mecanismo: Uma abordagem inovadora que gera exemplos de treinamento em tempo real para cada instância de teste.
  • Processo:
    1. Cria um pool diversificado de exemplos positivos e negativos (adversariais) gerados pelo próprio LLM.
    2. Recupera exemplos semanticamente similares dos dados de treinamento.
    3. Seleciona o subconjunto mais relevante e adaptativo para compor o contexto (few-shot) da classificação final.
  • Inovação: Introduz um mecanismo de prompting cooperativo e adversarial dinâmico, ajustado por instância.

Configuração Experimental:

• Modelos Base: Gemini 2.5 Flash, Gemini 2.5 Pro, GPT-4o, GPT-4o-mini, GPT-4.1-mini.
• Datasets:
  • REFinD: Domínio financeiro (relações entre empresas, métricas).
  • CORE: Corpus científico (relações entre autores, afiliações, tópicos).
  • SemEval 2010 Task 8: Domínio geral (relações semânticas diretas).
• Métricas: F1 Macro e F1 Micro.

3. Contribuições Principais

1. Comparação Sistemática de Arquiteturas: É o primeiro estudo a avaliar comparativamente três estratégias modulares de agentes (delegação hierárquica, auto-crítica iterativa e geração dinâmica de exemplos) especificamente para a tarefa de classificação de relações com LLMs.
2. Avaliação Multidomínio com SOTA: Os modelos foram testados em três domínios distintos com modelos de ponta, demonstrando que a coordenação de agentes supera o prompting padrão e se aproxima do desempenho de modelos com fine-tuning.
3. Mecanismo de Geração Dinâmica: Propõe e valida uma nova abordagem de geração de exemplos adaptativa por instância, utilizando agentes cooperativos e adversariais, algo não explorado anteriormente na extração de relações.
4. Insights Práticos: Oferece diretrizes sobre como escolhas de design em prompting baseado em agentes afetam a precisão, generalização e interpretabilidade, especialmente em cenários de poucos recursos.

4. Resultados

Os experimentos demonstraram que as arquiteturas baseadas em agentes superam consistentemente as abordagens de few-shot padrão e competem com modelos ajustados (fine-tuned):

• Desempenho Geral: Todas as arquiteturas de agentes superaram as linhas de base de prompting simples (Zero-shot, 3-shot, 5-shot) em todos os datasets.
• Arquitetura Gerador-Reflexão: Alcançou um F1 Micro de 0,76 no dataset CORE, superando métodos baseados em prompting do Llama-3 e BERT, e aproximando-se de modelos fine-tuned (0,80). No SemEval, atingiu 0,76 (Micro), superando significativamente o GPT-4 (0,65).
• Arquitetura Dinâmica de Exemplos: Destacou-se no dataset REFinD com um F1 Micro de 0,64, demonstrando superioridade na seleção contextual de exemplos para domínios financeiros complexos. No SemEval, também liderou com 0,64 (Micro).
• Eficiência do Orquestrador: Na arquitetura hierárquica, o Agente Orquestrador demonstrou alta precisão no roteamento de tarefas, especialmente em domínios estruturados como o financeiro (REFinD), onde alcançou até 0,98 de precisão em roteamento.
• Comparação com Fine-tuning: Embora modelos fine-tuned (como T5-large ou BERT especializado) ainda apresentem pontuações ligeiramente superiores em alguns casos, as soluções baseadas em agentes alcançam desempenho competitivo sem exigir treinamento específico da tarefa, oferecendo maior flexibilidade e generalização.

5. Significado e Conclusão

Este trabalho valida que a coordenação entre múltiplos agentes de IA, através de estratégias como crítica reflexiva, especialização hierárquica e geração dinâmica de exemplos, é uma via eficaz para superar as limitações de LLMs em tarefas estruturadas de extração de informações.

A principal implicação é que é possível construir sistemas robustos de extração de relações que não dependem de grandes volumes de dados rotulados para fine-tuning. A modularidade dessas arquiteturas permite transparência e adaptabilidade, tornando-as ideais para cenários de zero-shot e few-shot em domínios especializados. O código e os dados estão disponíveis publicamente, fomentando pesquisas futuras em extração de relações em nível de documento e adaptação multilíngue.