LAFA: A Framework for Reproducible Longitudinal Assessment of Protein Function Annotation Models

Título: LAFA: Um Framework para Avaliação Longitudinal Reprodutível de Modelos de Anotação de Função de Proteínas

1. O Problema

A previsão da função de proteínas é um desafio central na biologia computacional. Atualmente, a avaliação de métodos de previsão é dominada pelo desafio CAFA (Critical Assessment of protein Function Annotation), que ocorre a cada três anos. Embora o CAFA tenha sido fundamental para destacar metodologias de alto desempenho, ele apresenta limitações críticas quando realizado fora desses ciclos periódicos:

• Falta de Avaliação Contínua: Não há uma plataforma para avaliar continuamente novos métodos à medida que as anotações de função (Ground Truth) acumulam-se ao longo do tempo.
• Janela de Avaliação Curta: O período de acumulação de anotações no CAFA é tipicamente curto (4-6 meses). Métodos podem ser mal avaliados se as suas previsões corretas não forem validadas dentro dessa janela específica (problema da "Suposição de Mundo Aberto").
• Decaimento de Desempenho: À medida que novas anotações surgem, os conjuntos de treinamento tornam-se obsoletos, levando ao decaimento do desempenho de modelos que dependem de dados antigos.
• Reprodutibilidade e Acessibilidade: Muitos métodos participantes do CAFA são difíceis de instalar ou disponíveis apenas como servidores web, dificultando a reprodutibilidade e a comparação justa. Além disso, os dados históricos não são mantidos robustamente em repositórios públicos.

2. Metodologia

O LAFA (Longitudinal Assessment of Function Annotation) foi desenvolvido como um sistema de benchmarking persistente e contínuo para endereçar essas lacunas.

• Arquitetura e Infraestrutura:

  • O sistema é dividido em back-end (computação) e front-end (visualização).
  • O back-end é executado em um cluster de computação de alto desempenho utilizando Nextflow (fluxo de trabalho científico).
  • Os métodos são hospedados como contêineres (Docker), garantindo isolamento, reprodutibilidade e impedindo vazamento de dados (os métodos não podem acessar dados futuros após a data definida $t_0$).

• Fluxo de Trabalho (Workflows):

  1. Construção de Pontos Temporais (Time Point Build):
     • Dados brutos são adquiridos periodicamente (aprox. a cada 8 semanas) do UniProt-GOA (anotações), UniProt Knowledgebase (sequências) e GO Data Archive (estrutura do grafo GO).
     • Um conjunto de teste estável é construído a partir de proteínas SwissProt (anotadas manualmente e não redundantes).
     • Um conjunto de treinamento é criado a partir de anotações validadas experimentalmente.
     • Os dados processados são publicados no HuggingFace para facilitar o teste prévio pelos desenvolvedores.
  2. Avaliação de Janela Temporal (Time Window Evaluation):
     • Define-se uma janela entre dois pontos temporais ($t_0$ e $t_1$).
     • Gera-se um "Ground Truth" com base nas anotações experimentais que acumularam-se entre $t_0$ e $t_1$.
     • As previsões geradas pelos contêineres em $t_0$ são comparadas contra esse novo Ground Truth.
     • A avaliação utiliza o pacote CAFA-evaluator, calculando Precisão, Revocação (Recall) e F1-score para vários limiares.

• Métodos Participantes (Exemplos Iniciais):

  • O sistema inclui métodos de ponta (TransFew, FunBind, DeepGOPlus) e várias baselines (Naive, Non-Experimental GOA, BLAST, Similaridade de Embedding).
  • Os métodos são executados offline após o download dos dados, garantindo que não haja acesso a informações futuras.

• Interface (Front-end):

  • Um site leve que permite visualizar, comparar e explorar resultados interativos entre diferentes janelas temporais e métodos.

3. Resultados Principais

• Implementação Funcional: O LAFA foi implementado com sucesso, hospedando três métodos de ponta e quatro baselines em contêineres.
• Dados de Teste: Para a fase inicial de teste (testbed), o sistema processou um conjunto de 7.401 proteínas com anotações experimentais acumuladas entre setembro de 2025 e março de 2026 (dados simulados/futuros no contexto do artigo, indicando a capacidade do sistema de lidar com fluxos contínuos).
• Capacidade de Análise Longitudinal: O sistema demonstrou a capacidade de:
  • Comparar o desempenho de métodos em diferentes janelas de acumulação de anotações (ex: 4 meses vs. 8 meses).
  • Avaliar o impacto da atualização dos dados de treinamento, permitindo comparar versões de um mesmo método treinadas com dados recentes versus dados desatualizados.
• Disponibilidade: O código, os fluxos de trabalho e os dados estão disponíveis publicamente no GitHub e no HuggingFace.

4. Contribuições Chave

1. Mudança de Paradigma: Transição da avaliação periódica (a cada 3 anos) para uma avaliação longitudinal e contínua, permitindo monitoramento em tempo real do progresso na área.
2. Reprodutibilidade Rigorosa: O uso de contêineres garante que os métodos sejam executáveis, isolados e reprodutíveis em qualquer infraestrutura, eliminando problemas de "funciona na minha máquina".
3. Transparência e Acessibilidade: Oferece uma plataforma centralizada onde a comunidade pode visualizar o desempenho de métodos sob condições de ground truth em evolução, sem barreiras de instalação.
4. Flexibilidade Experimental: Permite investigar questões específicas, como a taxa de decaimento de modelos devido à obsolescência dos dados de treinamento e a robustez das avaliações em diferentes escalas de tempo.

5. Significância

O LAFA representa um avanço significativo para a comunidade de biologia computacional e aprendizado de máquina aplicado à biologia. Ao fornecer um benchmark persistente, ele:

• Acelera a Iteração Metodológica: Desenvolvedores podem testar e refinar seus modelos continuamente, em vez de esperar anos pelo próximo desafio CAFA.
• Promove a Ciência Aberta: Incentiva a hospedagem de códigos abertos e contêinerizados, aumentando a transparência na pesquisa de previsão de função proteica.
• Melhora a Avaliação Realista: Ao avaliar modelos contra anotações que acumulam-se ao longo do tempo, o LAFA oferece uma visão mais precisa e dinâmica da capacidade real dos algoritmos, ajudando a identificar quais métodos são robustos a mudanças no conhecimento biológico e quais sofrem de decaimento rápido.

Em suma, o LAFA estabelece uma nova infraestrutura padrão para a avaliação contínua e justa de modelos de previsão de função de proteínas, convidando desenvolvedores a contribuírem com seus métodos para um ecossistema de benchmarking colaborativo e evolutivo.