Resumo Técnico: RAGPPI – Um Benchmark de Geração Aumentada por Recuperação para Interações Proteína-Proteína na Descoberta de Fármacos

1. Declaração do Problema

Na descoberta de fármacos, a Identificação de Alvos (Target ID) é uma fase crítica, porém intensiva em recursos, que exige a identificação de interações proteína-proteína (PPI) que levam a efeitos terapêuticos. Especificamente, pesquisadores devem determinar os impactos biológicos, funcionais ou físicos do vínculo de um fármaco a uma proteína alvo (TP) em uma proteína inicial (IP). Dada a vastidão do proteoma humano (bilhões de candidatos), o mapeamento manual dessas vias na literatura é lento e caro.

Embora Modelos de Linguagem de Grande Escala (LLMs) e frameworks de Geração Aumentada por Recuperação (RAG) tenham sido aplicados a este domínio para inferir impactos de PPI, eles enfrentam desafios significativos:

• Alucinações: Os LLMs frequentemente geram resultados não confiáveis que não são fundamentados em fatos científicos.
• Falta de Benchmarks Especializados: Não existe atualmente um benchmark padronizado para avaliar sistemas RAG especificamente na precisão factual e na profundidade de raciocínio exigidas para a descoberta científica em Target ID. Os benchmarks existentes não abordam adequadamente as cadeias de raciocínio de múltiplos passos (Identificação de Entidade $\to$ Elucidação de Mecanismo $\to$ Impacto Terapêutico) necessárias para uma inferência biológica válida.

2. Metodologia

Os autores desenvolveram o RAGPPI, um benchmark projetado para avaliar sistemas RAG na geração de impactos biológicos precisos de PPIs. A metodologia envolveu três fases primárias:

A. Formulação de Tarefas Orientada por Especialistas

Para garantir que o benchmark reflita fluxos de trabalho do mundo real, os autores conduziram entrevistas com 18 especialistas do domínio (incluindo doutores em pesquisa em engenharia química e descoberta de fármacos).

• Template de Consulta: Os especialistas priorizaram uma consulta unificada: "De acordo com o resumo, quais efeitos biológicos, funcionais ou físicos resultam de [PPI]?" Isso força os modelos a sintetizar parceiros de interação, mecanismos funcionais (ex: inibição, ativação) e implicações terapêuticas.
• Fonte de Dados: O benchmark utiliza o BioGRID, o conjunto de dados de PPI mais amplamente adotado.
• Estratificação: Para garantir a generalizabilidade, o conjunto de dados foi estratificado por frequência na literatura (Alta, Média, Baixa) e tipos de PPI (ex: Reação, Ligação, Inibição), evitando o viés para doenças bem estudadas como câncer ou COVID-19.

B. Construção do Conjunto de Dados

O conjunto de dados foi construído em duas etapas para equilibrar qualidade e escala:

1. Conjunto de Dados Padrão-Ouro (500 pares QA):
   • Gerado usando o GPT-4o baseado em resumos do BioGRID.
   • Validado por especialistas através de um estudo de usuário de duas etapas (preliminar e principal).
   • Os especialistas categorizaram as respostas como Perfeitas, Aceitáveis ou Imprecisas. "Perfeitas" e "Aceitáveis" foram fundidas em um rótulo Correto, enquanto "Imprecisas" tornou-se Incorreto.
   • Os especialistas revisaram 96,4% das respostas não perfeitas para garantir que a verdade fundamental refletisse o conhecimento verificado em vez de vieses do modelo.
2. Conjunto de Dados Padrão-Prata (3.720 pares QA):
   • Para escalar o conjunto de dados sem exigir mais anotações de especialistas, os autores desenvolveram uma Auto-Avaliação de Ensemble por LLM.
   • Este ensemble consiste em três submodelos especializados (todos baseados em GPT-4o) que avaliam as respostas com base em características derivadas de especialistas:
     • F1 (Similaridade Média): A média da similaridade de cosseno entre fatos atômicos da resposta e o resumo de origem.
     • F2 (Outliers de Baixa Similaridade): A contagem de fatos atômicos na resposta que caem abaixo de um limite de similaridade em relação ao resumo.
     • M3 (Alinhamento Semântico Global): Avaliação do alinhamento da resposta com o texto da verdade fundamental (ground-truth).
   • O ensemble utiliza votação majoritária. Para o conjunto de dados prata, uma resposta foi aceita como Verdade Fundamental (GT) apenas se ambos os submodelos F1 e F2 a classificassem como precisa, priorizando o embasamento factual sobre a similaridade estilística.

C. Métricas de Avaliação

O benchmark avalia os modelos usando:

• Similaridade de Fato Atômico (F1): Média da similaridade de cosseno dos fatos atômicos.
• Contagem de Fatos de Baixa Similaridade (F2): Número de fatos alucinados ou não suportados.
• Acurácia: Determinada pelo modelo de ensemble (M1, M2, M3 e o voto final do Ensemble).

3. Principais Contribuições

1. Design de Benchmark Baseado em Especialistas: O primeiro benchmark especificamente para Target ID, derivado de entrevistas com 18 especialistas. Ele estabelece um template de consulta unificado que exige raciocínio de múltiplos passos (Entidade $\to$ Mecanismo $\to$ Impacto) e equilibra tipos de PPI e frequências de literatura.
2. Dataset RAGPPI: Um benchmark de QA factual compreendendo 4.420 pares de pergunta-resposta (500 Ouro, 3.720 Prata) focando nos impactos biológicos de PPIs.
3. Método de Auto-Avaliação Escalável: Um framework de LLM de ensemble que captura características de rotulagem de especialistas (F1 e F2) para rotular automaticamente um dataset de grande escala "prata" com 93,71% de acurácia em comparação com julgamentos de especialistas, permitindo uma aplicabilidade mais ampla sem envolvimento contínuo de especialistas.

4. Resultados Experimentais

Os autores avaliaram oito sistemas (LLMs gerais, LLMs biomédicos de código aberto e várias arquiteturas RAG) no RAGPPI.

• Sensibilidade do Corpus: Modelos RAG utilizando o corpus de artigos curado pelos autores superaram significativamente aqueles que utilizam corpora padrão. Por exemplo, o GraPPI (um sistema RAG biomédico) melhorou sua acurácia de ensemble de 13,44% (corpus padrão) para 74,80% (corpus curado).
• Desempenho do Modelo:
  • O GraPPI com o corpus curado alcançou o melhor desempenho geral (F1 = 0,76, Acurácia de Ensemble = 74,80%), demonstrando a sinergia entre modelos específicos do domínio e corpora específicos do domínio.
  • LLMs Gerais (ex: GPT-4.1, Gemini) sem recuperação frequentemente superaram sistemas RAG com corpora padrão, sugerindo que fontes de recuperação mal adaptadas podem degradar o desempenho. No entanto, os LLMs tendiam a produzir respostas que eram factualmente alinhadas, mas incompletas (alto F1/F2, mas baixo alinhamento M3 com o escopo total).
• Efetividade do Ensemble: A abordagem de avaliação por ensemble (combinando verificação de fato atômico e alinhamento holístico) provou ser necessária para distinguir entre modelos que meramente adivinham resultados corretos versus aqueles que sintetizam mecanismos corretamente.

5. Significância e Alegações

O artigo afirma que o RAGPPI preenche uma lacuna crítica nas comunidades de PLN e biomédica ao fornecer um benchmark especializado para avaliar sistemas RAG na descoberta de fármacos. Sua significância reside em:

• Framework Metodológico: Fornecer um processo robusto e orientado por especialistas para construir benchmarks de descoberta científica que equilibram a avaliação de recuperação e geração.
• Aplicabilidade no Mundo Real: Demonstrar que a qualidade da recuperação é um driver primário de desempenho em tarefas de Target ID, validando a necessidade de corpora especializados em RAG biomédico.
• Recurso Comunitário: Oferecer um conjunto de dados e código publicamente disponíveis para apoiar o desenvolvimento de ferramentas de IA mais confiáveis e resistentes a alucinações para identificação de alvos.

Os autores mantêm uma postura modesta, reconhecendo limitações como a natureza estática do conjunto de dados (carecendo da evolução temporal de descobertas científicas), a dependência de resumos em vez de textos completos com figuras, e o potencial de insuficiência de 500 amostras de ouro para cobrir todos os impactos biológicos de PPI. Eles posicionam o RAGPPI como um passo fundamental em direção a tarefas de raciocínio de múltiplos saltos (multi-hop) mais complexas na descoberta científica.