Quantifying the Generalization Gap in Seizure Detection: A Large-Scale Empirical Benchmark via the SzCORE Challenge

Resumo Técnico: Quantificação da Lacuna de Generalização na Detecção de Convulsões

Declaração do Problema
A detecção automática confiável de convulsões a partir de registros de eletroencefalograma (EEG) de longo prazo permanece um desafio não resolvido na prática clínica. Apesar da proliferação de modelos de aprendizado de máquina, os algoritmos atuais frequentemente falham em generalizar entre diferentes pacientes e ambientes clínicos. Consequentemente, a revisão manual de EEG por clínicos permanece o padrão-ouro. Uma barreira significativa ao progresso é a falta de práticas de avaliação padronizadas; a literatura existente frequentemente relata alta eficácia em conjuntos de dados específicos, mas esses resultados não são diretamente comparáveis devido à heterogeneidade em dados, métricas e metodologias. Além disso, há uma "lacuna de generalização" documentada, onde os modelos apresentam bom desempenho em conjuntos de dados selecionados pelos próprios ou públicos, mas falham quando implantados em populações de pacientes não vistas e diversas.

Metodologia
Para abordar essas questões, os autores organizaram um benchmark empírico em grande escala, o Desafio SzCORE, em conjunto com a Conferência Internacional de 2025 sobre Inteligência Artificial em Epilepsia e Transtornos Neurológicos.

• Conjunto de Dados: A avaliação utilizou um conjunto de dados privado estritamente mantido em segredo, composto por registros contínuos de EEG de 65 sujeitos (398 convulsões anotadas), totalizando 4.360 horas de dados. Os dados foram coletados no Centro Dinamarquês de Epilepsia Filadelfia entre 2018 e 2020. Inclui EEG de couro cabeludo de 19 canais (sistema 10-20) amostrado a 256 Hz. A verdade fundamental foi estabelecida por três neurofisiologistas certificados pelo conselho, com consenso utilizado para resolver discordâncias. O conjunto de dados inclui uma mistura de adultos e crianças (idade mediana de 34, faixa de 5–66).
• Coleção de Algoritmos: O desafio solicitou submissões da comunidade, resultando em 28 execuções algorítmicas avaliadas com sucesso derivadas de 20 abordagens arquitetônicas únicas. Estas variaram de engenharia de recursos clássica (por exemplo, Random Forest, Gradient Boosting) a Aprendizado Profundo moderno (por exemplo, Transformers, CNNs, modelos baseados em STFT).
• Framework Padronizado: Todos os algoritmos foram avaliados usando o framework SzCORE, que impõe:
  • Padronização de Entrada/Saída: As entradas são arquivos .edf; as saídas são arquivos .tsv compatíveis com HED-SCORE.
  • Reprodutibilidade: Os algoritmos foram embalados como imagens Docker isoladas para garantir um ambiente de avaliação cego e reprodutível em infraestrutura de computação de alto desempenho (utilizando GPUs NVIDIA A100 e V100).
  • Métricas: O desempenho foi medido usando métricas baseadas em eventos: Sensibilidade, Precisão, Pontuação F1 e Falsos Positivos por dia (FP/24h). A pontuação baseou-se em tolerâncias específicas de sobreposição (30s pré-ictal, 60s pós-ictal) e regras de mesclagem (separação mínima de 90s).
• Análise Estatística: O estudo empregou testes estatísticos não paramétricos, incluindo o teste de Friedman para diferenças omnibus, testes de postos sinalizados de Wilcoxon com correção de Holm-Bonferroni para comparações pareadas e o teste de Nemenyi para diagramas de diferença crítica. Os tamanhos de efeito foram quantificados usando o Delta de Cliff.

Principais Resultados

• Teto de Desempenho: O algoritmo de melhor desempenho, Sz Transformer, alcançou uma pontuação F1 baseada em eventos de 32% (Sensibilidade: 37%, Precisão: 29%) com uma média de 1,34 falsos positivos por dia.
• Estabilidade vs. Desempenho de Pico: Uma descoberta crítica foi a discordância entre o desempenho agregado de pico e a estabilidade em nível populacional. Embora o Sz Transformer tivesse a maior pontuação F1 agregada, o HySEIZa v1 alcançou a melhor classificação média entre os sujeitos, indicando maior consistência. A análise estatística mostrou nenhuma diferença significativa entre o algoritmo de melhor classificação e o líder em F1, no entanto, sete arquiteturas líderes foram estatisticamente indistinguíveis do líder de classificação.
• Lacuna de Generalização: Houve uma discrepância gritante entre o desempenho relatado pelos desenvolvedores em seus conjuntos de dados escolhidos e o desempenho real no conjunto de dados independente mantido em segredo. Quase todos os algoritmos superestimaram significativamente sua eficácia, destacando uma lacuna de generalização pervasiva.
• Modos de Falha:
  • Falsos Positivos: Os falsos positivos foram em grande parte idiossincráticos a algoritmos individuais, com menos de 25% dos algoritmos concordando em 91% das detecções falsas.
  • Convulsões Não Detectadas: 15 dos 65 sujeitos (23%) tiveram uma pontuação F1 de 0 em todos os 5 melhores algoritmos simultaneamente, sugerindo que padrões eletrográficos específicos do paciente não foram capturados pelos modelos atuais.
  • Duração da Convulsão: Convulsões difíceis de detectar foram substancialmente mais curtas (mediana de 48s) em comparação com as fáceis (mediana de 118s), sugerindo que as janelas de processamento atuais (1–600s) podem perder padrões ictais breves.
• Comparação com Trabalhos Anteriores: O melhor algoritmo neste estudo superou métodos anteriores em desafios de EEG de couro cabeludo (por exemplo, o desafio Neureka) e aproximou-se do desempenho de sistemas comerciais estabelecidos, embora os sistemas comerciais frequentemente priorizem maior sensibilidade às custas de falsos positivos aumentados.

Principais Contribuições

1. Benchmark Empírico em Grande Escala: Este estudo fornece a primeira comparação direta em grande escala de algoritmos de detecção de convulsões usando uma metodologia padronizada em um conjunto de dados privado substancial e anonimamente anotado por especialistas.
2. Quantificação da Lacuna de Generalização: O trabalho documenta rigorosamente a falha de modelos de última geração em generalizar para populações de pacientes não vistas e expõe a não confiabilidade de métricas relatadas pelos próprios.
3. Plataforma de Benchmarking Aberta: A infraestrutura de avaliação foi transicionada para uma plataforma de benchmarking continuamente aberta (hospedada no GitHub). Isso permite submissões contínuas, pesquisa reprodutível e a integração de conjuntos de dados privados adicionais de outros centros clínicos, indo além de uma competição única para um recurso vivo.
4. Rigor Estatístico: A aplicação de testes estatísticos não paramétricos robustos fornece uma visão matizada do desempenho do algoritmo, distinguindo entre pontuações agregadas e estabilidade em nível de paciente.

Significado e Alegações
O artigo afirma que, embora os principais algoritmos demonstrem desempenho competitivo e progresso tangível sobre desafios anteriores, o campo ainda enfrenta obstáculos significativos para alcançar detecção de convulsões robusta e generalizável. O significado principal não reside meramente no instantâneo do desempenho atual, mas no estabelecimento de um paradigma de avaliação padronizado, transparente e reprodutível.

Os autores argumentam que a lacuna de generalização persistente e a instabilidade de modelos de alta capacidade em pacientes outliers representam riscos críticos de segurança para a implantação clínica. Eles postulam que a mudança de competições isoladas para uma plataforma de benchmarking contínua e aberta é essencial para:

• Mitigar o viés de auto-relato.
• Rastrear objetivamente o progresso do campo ao longo do tempo.
• Facilitar o desenvolvimento de modelos que sejam robustos em diversas demografias de pacientes (incluindo pediátricos e tipos raros de convulsões).
• Acelerar a tradução de pesquisas em ferramentas de suporte à decisão clinicamente viáveis.

Em última análise, o trabalho defende uma mudança de paradigma onde o benchmarking rigoroso e independente em dados clínicos diversos se torne o padrão para validar modelos de aprendizado de máquina no cuidado da epilepsia, em vez de confiar em métricas agregadas de conjuntos de dados curados.