Resumo Técnico: EpiBench

Definição do Problema

A descoberta de anticorpos terapêuticos depende fundamentalmente da compreensão dos epítopos — as regiões específicas em um antígeno onde um anticorpo se liga. Essa ligação determina propriedades terapêuticas subsequentes, incluindo o bloqueio funcional, a fuga imunológica e a especificidade terapêutica. Embora modelos de aprendizado profundo especializados tenham sido desenvolvidos para prever epítopos a partir de sequências ou estruturas de antígenos, eles são tipicamente otimizados para alvos de predição de tarefa única e estreita. Por outro lado, os Grandes Modelos de Linguagem (LLMs) de propósito geral demonstraram fortes capacidades de raciocínio biomédico, mas sua habilidade de inferir informações de epítopos diretamente de sequências de antígenos e anticorpos para apoiar o fluxo de trabalho mais amplo de desenvolvimento de fármacos de anticorpos permanece não verificada. Os benchmarks de proteínas existentes focam em propriedades biológicas gerais ou paisagens de aptidão (fitness landscapes), mas não avaliam decisões centradas em epítopos, como localização de sítio de ligação, agrupamento de anticorpos, interpretação funcional e avaliação de fuga dentro de um contexto de descoberta de fármacos.

Metodologia

Para abordar essa lacuna, os autores introduzem o EpiBench, um benchmark de livro fechado (closed-book), baseado em sequências e automaticamente pontuável, projetado para avaliar o raciocínio de epítopos em LLMs.

Princípios de Design do Benchmark

O EpiBench é construído para simular o fluxo de trabalho prático do desenvolvimento de anticorpos, aderindo a cinco princípios fundamentais:

1. Alinhamento de Fluxo de Trabalho: As tarefas correspondem a estágios-chave, desde a descoberta de epítopos candidatos até a avaliação de fuga.
2. Fundamentação em Evidências: Os rótulos são derivados de fontes experimentalmente suportadas, incluindo complexos estruturais anticorpo-antígeno, ensaios de células B funcionais curados e medições de varredura de mutação profunda (deep mutational scanning - DMS).
3. Formulação de Livro Fechado: Todos os identificadores (IDs de PDB, nomes de anticorpo/antígeno, números de acesso, metadados) são removidos para evitar a busca direta ou memorização de registros específicos. Apenas a evidência em nível de sequência é retida.
4. Formatos Adaptados à Tarefa: As saídas são formatadas como predições de resíduos, perguntas de múltipla escolha ou julgamentos binários para corresponder a pontos de decisão biológica específicos.
5. Controle de Atalhos: Estratégias de amostragem controlam as distribuições de respostas, a ordem dos candidatos e a seleção de distratores para minimizar artefatos de avaliação baseados em similaridade de sequência ou identidade de mutação.

Composição do Conjunto de Dados

O EpiBench contém 1.609 amostras curadas derivadas de quatro fontes: AsEP, SAbDab, IEDB e medições de fuga DMS. O conjunto de dados cobre cinco tarefas conectadas:

• Tarefa 1: Descoberta de Região Alvo: Predição de um conjunto limitado de resíduos de epítopo candidatos a partir de uma sequência de antígeno sem um anticorpo específico (Apenas Antígeno).
• Tarefa 2: Identificação de Epítopo Condicionada por Anticorpo: Identificação de qual região de epítopo candidato é ligada por uma sequência de anticorpo específica (Antígeno + Anticorpo + Candidatos).
• Tarefa 3: Agrupamento de Epítopos (Binning): Determinação se dois anticorpos ligam-se a regiões sobrepostas do antígeno (Antígeno + Dois Anticorpos).
• Tarefa 4: Avaliação Funcional de Epítopos: Distinção entre epítopos associados a resultados funcionais (ex: neutralização, inibição) daqueles com apenas evidência de ligação (Antígeno + Candidatos + Função).
• Tarefa 5: Avaliação de Fuga de Anticorpos: Predição se uma mutação de ponto específica no antígeno interrompe o reconhecimento por um determinado anticorpo (Anticorpo + Antígeno Selvagem + Mutação).

Protocolo de Avaliação

Os autores avaliaram nove LLMs de propósito geral (incluindo modelos de raciocínio e não-raciocínio de vários provedores) sob um protocolo unificado de zero-shot (zero-shot). A avaliação incluiu:

• Comparação contra baselines aleatórios e modelos especializados de predição de epítopos (onde aplicável).
• Estratificação por comprimento da sequência do antígeno para testar o raciocínio de contexto longo.
• Comparação entre configurações de raciocínio explícito (Cadeia de Pensamento - CoT) e implícito (resposta direta).
• Análise de modos de falha de traços de raciocínio incorretos.

Principais Resultados

Desempenho Geral

Os LLMs atuais capturam sinais parciais relacionados a epítopos, mas permanecem limitados na discriminação precisa de interfaces e no aterramento (grounding) específico de anticorpos.

• Tarefa 1 (Descoberta de Região): Os modelos mostraram capacidade melhorada de priorizar regiões de antígeno amplamente relevantes (RegionRecall@50), mas tiveram desempenho próximo ao aleatório em AUROC, indicando dificuldade em distinguir resíduos de epítopo de não-epítopos em toda a sequência.
• Tarefa 2 e 5 (Identificação Condicionada e Fuga): O desempenho foi limitado, sugerindo que reconhecer propriedades genéricas de antígenos é mais fácil do que fundamentar interações específicas anticorpo-antígeno ou efeitos de fuga a partir da sequência isolada.
• Tarefa 3 (Agrupamento): Mostrou o maior ganho sobre os baselines aleatórios, provavelmente porque os modelos puderam aproveitar pistas de similaridade de sequência pareada sem exigir a localização explícita da interface de ligação.
• Tarefa 4 (Avaliação Funcional): Os modelos tiveram dificuldade em conectar epítopos a evidências funcionais subsequentes, refletindo a dificuldade de inferir contatos estruturais latentes e consequências funcionais não expressas diretamente nas sequências.

Sensibilidade e Análise de Raciocínio

• Comprimento do Antígeno: O desempenho na Tarefa 1 degradou significamente conforme o comprimento do antígeno aumentou (de <200 para >800 resíduos), indicando que os LLMs lutam para preservar informações de posição de resíduos finas em contextos longos. As Tarefas 2–4 mostraram desempenho mais estável através dos comprimentos, mas não demonstraram um entendimento robusto de epítopos.
• Raciocínio Explícito: O benefício do prompting de Cadeia de Pensamento (CoT) foi inconsistente. Embora tenha ajudado a Tarefa 1 para alguns modelos, não melhorou de forma confiável o desempenho nas Tarefas 2–5, que exigem decisões complexas fundamentadas em sequências.
• Modos de Falha: A análise de traços incorretos revelou que os modelos frequentemente dependem de proxies biológicos indiretos em vez de relações consistentes de epítopos. Padrões comuns de falha incluíram:
  • Fixação de Motivo: Dependência excessiva de motivos de sequência ou sítios funcionais reconhecíveis, mesmo quando insuficientes.
  • Alegações de Conhecimento: Apelo a associações memorizadas em vez de analisar as sequências fornecidas.
  • Atalhos de Similaridade: Uso de similaridade de CDR ou linhagem germinativa como um proxy para o agrupamento de epítopos.

Significância e Alegações

O artigo posiciona o EpiBench não meramente como um ranking (leaderboard), mas como um testbed de diagnóstico para medir e melhorar LLMs biomédicos conscientes de sequências.

• Limitações Atuais: Os resultados esclarecem que os LLMs atuais ainda não são capazes de apoiar confiavelmente o fluxo de trabalho completo de descoberta de anticorpos centrado em epítopos. Eles carecem de robustez na localização de resíduos em contexto longo, no aterramento de sequência específico de anticorpos e no raciocínio biologicamente fundamentado para resultados funcionais ou de fuga.
• Valor Diagnóstico: Ao avaliar o raciocínio de epítopos através de tarefas alinhadas com a descoberta de fármacos, o EpiBench identifica gargalos específicos (ex: aterramento de sequência de longo alcance, correspondência de nível de resíduo) que futuros modelos de raciocínio de sequências biológicas devem abordar.
• Padronização: O benchmark fornece um framework padronizado e automaticamente pontuável que une a lacuna entre a predição de epítopos especializada e a modelagem de linguagem de proteínas de propósito geral, oferecendo um ambiente prático para o desenvolvimento de ferramentas de descoberta de anticorpos assistidas por LLM que sejam confiáveis.

Os autores concluem que, embora os LLMs mostrem promessa em capturar sinais grosseiros, avanços significativos são necessários antes que possam ser confiados para decisões críticas no design de anticorpos terapêuticos.