IntrAgent: An LLM Agent for Content-Grounded Information Retrieval through Literature Review

Resumo Técnico: IntrAgent – Um Agente de LLM para Recuperação de Informação Baseada em Conteúdo através de Revisão de Literatura

1. O Problema

A pesquisa científica moderna exige a extração precisa de metadados, configurações experimentais e conhecimentos contextuais de uma vasta literatura acadêmica. No entanto, a recuperação de informações (Information Retrieval - IR) em artigos científicos é extremamente desafiadora devido à:

• Complexidade Estrutural: Diferente de textos genéricos, artigos possuem hierarquias complexas (seções, subseções, tabelas).
• Linguagem de Domínio Específico: Terminologias técnicas e abreviações que dificultam a correspondência semântica simples.
• Limitações de Métodos Atuais:
  • O RAG (Retrieval-Augmented Generation) tradicional baseia-se em similaridade semântica de "pedaços" (chunks) de texto, ignorando a estrutura do documento e falhando em alinhar termos técnicos específicos.
  • Agentes de Pesquisa Existentes focam em busca externa (web search), enquanto o problema aqui exige uma análise estritamente fundamentada (grounded) no conteúdo de um artigo fornecido, evitando alucinações.

2. Metodologia (IntrAgent)

Os autores propõem o IntraView, uma nova tarefa de recuperação de informação que exige extração fiel e síntese de informações de um artigo específico. Para resolvê-la, criaram o IntrAgent, um agente que mimetiza o comportamento humano de leitura através de um pipeline de dois estágios:

A. Estágio de Classificação de Seções (Section Ranking):

• Preservação de Hierarquia: O agente converte o artigo (PDF) para Markdown e constrói uma árvore de seções para capturar a organização estrutural.
• Classificação Baseada em Raciocínio: Em vez de usar apenas similaridade de texto, o LLM raciocina sobre qual seção (ex: "Metodologia" vs "Introdução") é mais provável de conter a resposta para uma pergunta específica, reordenando as seções por relevância.

B. Estágio de Leitura Iterativa (Iterative Reading):

• O agente acessa as seções reordenadas sequencialmente.
• Extração de Detalhes: Extrai informações cruciais (dados numéricos, termos, resultados) e as armazena em uma memória de curto prazo.
• Verificação de Suficiência (Sufficiency Check): Um mecanismo crítico onde o LLM avalia se as informações coletadas até o momento são suficientes para responder à pergunta. Se não forem, o agente continua a leitura; se forem, ele encerra o ciclo e sintetiza a resposta final. Isso reduz drasticamente o risco de alucinação.

3. Principais Contribuições

1. Nova Tarefa (IntraView): Define o desafio de recuperação de informação finamente granular e estritamente fundamentada em literatura científica.
2. Novo Framework (IntrAgent): O primeiro agente especializado que utiliza raciocínio estrutural e leitura iterativa para mitigar alucinações.
3. Novo Benchmark (IntraBench): Um conjunto de dados com 315 instâncias de teste, curado por especialistas, abrangendo cinco domínios STEM (Física, Ciências da Terra, Saúde Pública, Engenharia e Ciência dos Materiais).
4. Mecanismos de Controle: Introdução de níveis de confiança (conservador, equilibrado e agressivo) para controlar o esforço computacional versus precisão.

4. Resultados

• Desempenho Superior: O IntrAgent superou os métodos de RAG de última geração e agentes de pesquisa existentes em todos os domínios testados. Em média, obteve uma precisão cross-domain 13,2% superior aos baselines.
• Robustez: Testes de ablação mostraram que a "Preservação de Hierarquia" e a "Verificação de Suficiência" são componentes vitais para o sucesso do modelo. Sem a verificação de suficiência, o modelo apresenta altos índices de alucinação.
• Independência de Modelo: O desempenho superior foi consistente em diversos modelos de linguagem (backbones), incluindo GPT-4o, DeepSeek-R1, Gemini e Llama-3.1.
• Resiliência: O agente demonstrou ser robusto mesmo quando os títulos das seções do artigo eram alterados para estilos não padronizados ou ruidosos.

5. Significância

Este trabalho representa um avanço significativo na automação da revisão de literatura. Ao tratar o artigo científico como uma estrutura hierárquica e não apenas como um amontoado de texto, o IntrAgent aproxima a IA da capacidade de um pesquisador humano de navegar sistematicamente por documentos complexos. A introdução do IntraBench fornece à comunidade científica uma ferramenta rigorosa para avaliar futuros sistemas de IA voltados para a descoberta científica, garantindo que a extração de conhecimento seja não apenas rápida, mas fiel e livre de erros factuais.