Benchmarking Genomic Breed Discrimination in Cattle and Sheep: Discrimination, Calibration, and the Role of Population Structure

Resumo Técnico: Avaliação de Desempenho na Discriminação Genômica de Raças em Bovinos e Ovinos

Definição do Problema
A atribuição confiável de raça genômica é crítica para a rastreabilidade de animais de produção, verificação de pedigree e melhoramento conservacionista. No entanto, os benchmarks existentes geralmente focam em uma única espécie, classificam os modelos baseando-se apenas na acurácia de discriminação e, frequentemente, falham em considerar a interação entre a estrutura populacional e o desempenho algorítmico. Além disso, há uma carência de comparações sistemáticas entre diversas famílias de modelos (lineares, regularizados, ensembles e aprendizado profundo) e uma escassez de estudos que avaliem a calibração de probabilidade juntamente com a discriminação. Este estudo aborda essas lacunas ao avaliar o desempenho da discriminação de raças em duas espécies distintas de animais de produção com arquiteturas populacionais contrastantes: bovinos (Bos taurus, B. indicus, B. javanicus) e ovinos (Ovis aries).

Metodologia
O estudo utilizou dados de genotipagem publicamente disponíveis para 20 raças de bovinos ($n=403$) e 20 raças de ovinos ($n=1.458$), representando um amplo espectro geográfico e taxonômico. O pipeline analítico envolveu:

1. Pré-processamento de Dados: Controle de qualidade (QC) padrão, imputação via BEAGLE 5.0 e redução de desequilíbrio de ligação (LD pruning).
2. Seleção de Características: Uma abordagem de aprendizado profundo baseada em autoencoder (AE) não supervisionado foi empregada para reduzir os dados de SNPs de todo o genoma para os 5.000 marcadores mais informativos. Esta etapa utilizou um sistema de pontuação baseado em gradiente (Jacobiano) e ativação para reter sinais discriminativos de raça, reduzindo a dimensionalidade. Crucialmente, o ajuste do AE e a seleção de características foram aninhados dentro das dobras de validação cruzada para evitar vazamento de dados (data leakage).
3. Benchmarking de Classificação: Quatorze classificadores foram avaliados, abrangendo quatro famílias de modelos:
   • Modelos Lineares Regularizados: Regressão Logística, Regressão Ridge, LASSO, Elastic Net.
   • Baseados em Kernel: SVM (Linear e RBF), Regressão de Kernel Ridge (KRR, implementada como um baseline análogo ao GBLUP).
   • Ensembles Baseados em Árvores: Random Forest, Gradient Boosting, LightGBM, XGBoost.
   • Aprendizado Profundo (Deep Learning): Perceptron Multicamadas (MLP) em PyTorch e Rede Neural Convolucional (CNN) 1D.
   • Ensemble: Um Ensemble de Empilhamento (Stacking) de modelos baseados em árvores.
4. Estrutura de Avaliação: Os modelos foram avaliados por meio de validação cruzada estratificada de 5 dobras, repetida em múltiplas sementes (seeds). O desempenho foi medido não apenas por acurácia, F1-score e AUC, mas também por métricas de calibração de probabilidade (Brier score, Erro de Calibração Esperado, Log Loss, Inclinação de Calibração) e lacunas de generalização (diferenças de desempenho treino-teste). Um escore ponderado composto e uma contagem de Borda foram utilizados para classificar os modelos de forma holística.

Principais Resultados

• Desempenho de Discriminação: Os principais classificadores atingiram uma acurácia próxima ao limite superior (near-ceiling) em ambas as espécies. Em bovinos, modelos lineares e probabilísticos (Regressão Logística, Ridge, LASSO, Elastic Net, variantes de SVM e MLP em PyTorch) formaram um nível superior estatisticamente indistinguível. Em ovinos, a variância entre os modelos foi comprimida, com todos os 14 modelos excedendo 96% de acurácia.
• Comportamentos Específicos dos Modelos:
  • Overfitting (Sobreajuste): Em bovinos, modelos de boosting (Gradient Boosting, XGBoost) exibiram lacunas significativas entre treino e teste (queda de até 26% na acurácia), indicativas de overfitting em cenários de alta dimensionalidade e amostras pequenas. Em ovinos, essas lacunas foram negligenciáveis, sugerindo que a estrutura populacional mais homogênea amortizou as tendências de overfitting.
  • Calibração vs. Acurácia: Uma dissociação sistemática emergiu. Embora o KRR e a Regressão Ridge tenham alcançado alta acurácia de discriminação, eles foram mal calibrados (altos valores de Brier score e Log Loss). Em contraste, o MLP em PyTorch, a Regressão Logística e o Elastic Net forneceram tanto alta acurácia quanto probabilidades posteriores confiáveis.
  • Aprendizado Profundo: O MLP em PyTorch classificou-se consistentemente no topo de ambas as espécies. O CNN em PyTorch ficou atrás do MLP em bovinos, mas apresentou desempenho comparável em ovinos.
• Influência da Estrutura Populacional: A dificuldade de classificação correlacionou-se fortemente com a estrutura populacional, em vez da escolha do algoritmo. Em bovinos, linhagens de espécies distintas (Bos taurus vs. indicus vs. javanicus) permitiram uma separação clara. Em ovinos, a estrutura de PCA comprimida (menos de 1/6 da variância explicada pelos principais PCs) refletiu uma maior continuidade alélica.
• Erro de Classificação Residual: Raças específicas mostraram erros de classificação consistentes em todos os modelos algoritmicamente distintos, indicando proximidade genômica em vez de falha algorítmica. Em bovinos, a raça Braunvieh foi a mais desafiadora. Em ovinos, cinco raças de origem europeia comercialmente selecionadas (ex: Australian Suffolk, Irish Suffolk) compartilharam padrões de erro, provavelmente devido a pressões de seleção convergentes e ancestralidade comum.

Significância e Alegações
O artigo afirma que a atribuição de raça precisa e bem calibrada é alcançável tanto em bovinos quanto em ovinos utilizando dados de SNPs de chip completo padrão. A principal contribuição é a demonstração de que a dificuldade de classificação é impulsionada mais pela estrutura populacional do que pela escolha do algoritmo.

Principais conclusões incluem:

1. Calibração é Crítica: Quando a acurácia de discriminação satura (como visto nos modelos de nível superior), a calibração de probabilidade torna-se o fator diferenciador para a seleção de modelos, particularmente para aplicações que exigem limiares de confiança (ex: auditorias de rastreabilidade).
2. Suficiência Linear: Para estes conjuntos de dados, as fronteiras de raça são amplamente capturadas por diferenças aditivas na frequência alélica, tornando modelos lineares e regularizados suficientes e parcimoniosos em comparação com ensembles não lineares complexos, que correm o risco de overfitting em contextos de amostras pequenas e alta dimensionalidade.
3. Rigor Metodológico: O estudo destaca a necessidade de validação cruzada aninhada para a seleção de características e o valor de uma avaliação multi-métrica (combinando discriminação e calibração) sobre benchmarks baseados apenas em acurácia.

Os autores concluem que, embora seus achados forneçam orientação baseada em evidências para a seleção de modelos, eles derivam de validação cruzada dentro da amostra. Portanto, a extensão para populações independentes, mistas ou com divergência de plataforma requer validação externa. O estudo não pretende resolver o problema da atribuição de raças mistas, mas sim estabelecer uma linha de base robusta para a discriminação de raças puras sob restrições de dados realistas.