🤖 AI

Position: Evaluation of ECG Representations Must Be Fixed

Este artigo argumenta que os atuais benchmarks de aprendizado de representação de ECG são muito estreitos e falhos, demonstrando que práticas de avaliação adequadas revelam que encoders aleatórios frequentemente se equiparam a modelos de pré-treinamento de estado da arte, ao mesmo tempo em que destacam a necessidade urgente de expandir a avaliação para incluir doenças cardíacas estruturais e previsão ao nível do paciente.

Autores originais: Zachary Berger, Daniel Prakah-Asante, John Guttag, Collin M. Stultz

Publicado 2026-06-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zachary Berger, Daniel Prakah-Asante, John Guttag, Collin M. Stultz

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que o campo da Inteligência Artificial (IA) tentando aprender a ler sinais cardíacos (ECGs) é como um grupo de estudantes se preparando para um exame muito específico e de alto risco. Por anos, todos têm estudado pelos mesmos três livros didáticos (conjuntos de dados chamados PTB-XL, CPSC2018 e CSN). Esses livros estão repletos de perguntas sobre arritmias (batimentos cardíacos irregulares) e formas de onda (como são as linhas onduladas).

Os autores deste artigo, Zachary Berger e sua equipe, estão levantando a mão para dizer: "Espere um minuto. A maneira como estamos avaliando esses alunos está quebrada e está nos dando uma ideia errada de quem é realmente inteligente."

Aqui está a divisão do argumento deles usando analogias simples:

1. O Exame "Tamanho Único" é Falho

Atualmente, a comunidade de IA avalia esses modelos usando uma única pontuação chamada Macro-AUROC.

A Analogia: Imagine um professor avaliando um aluno que fez uma prova com 100 questões. 90 das questões são sobre "Maçãs" e 10 são sobre "Frutas Exóticas Raras". O professor tira uma média para que cada questão conte da mesma forma.
O Problema: Se o aluno acertar todas as questões de "Maçãs" mas errar as de "Frutas Exóticas", ele terá uma média decente. Mas, no mundo real (no hospital), o médico pode só se importar com as "Frutas Exóticas" (condições cardíacas raras). Ao tirar a média de tudo, o sistema atual esconde o fato de que o modelo pode ser terrível naquilo que realmente importa.
O Ruído: Além disso, algumas dessas questões de "Frutas Exóticas" têm apenas um ou dois exemplos em todo o teste. Se o modelo acertar ou errar essa única questão por pura sorte, isso altera drasticamente a nota para cima ou para baixo, tornando os resultados pouco confiáveis.

2. A Linha de Base de "Surpresa": O Palpite Aleatório

O achado mais chocante no artigo é sobre as "linhas de base" (baselines). Na ciência, você sempre compara uma nova e sofisticada invenção contra uma versão simples e básica para ver se a invenção realmente agrega valor.

A Analogia: Imagine uma corrida onde todos estão correndo em uma pista. Os corredores sofisticados estão usando sapatos de alta tecnologia, pré-treinados (modelos de IA complexos). O corredor da "linha de base" está usando um par de sapatos gerados aleatoriamente e não treinados (um modelo com pesos aleatórios que ainda não aprendeu nada).
O Resultado: Os autores descobriram que, em muitas tarefas, o corredor com os sapatos aleatórios terminou tão rápido quanto os corredores com os sapatos sofisticados. Às vezes, o corredor aleatório até venceu!
A Lição: Isso sugere que, para muitas tarefas cardíacas, o sinal é tão óbvio que você não precisa de um cérebro supercomplexo e pré-treinado para encontrá-lo. Um ponto de partida simples e aleatório é frequentemente bom o suficiente. Isso significa que os modelos "sofisticados" podem não ser tão especiais quanto pensávamos.

3. A Prescrição do Artigo: Um Plano de Ensino Melhor

Os autores argumentam que, para corrigir isso, o campo precisa mudar a forma como testa esses modelos. Eles propõem quatro regras principais:

Expandir o Currículo: Não teste apenas arritmias. O sinal cardíaco também contém pistas sobre doenças cardíacas estruturais (como um músculo cardíaco fraco), hemodinâmica (pressão arterial e fluxo sanguíneo) e desfechos futuros do paciente (esta pessoa ficará doente em um ano?). Os exames atuais ignoram esses tópicos importantes.
Parar de Esconder os Detalhes: Em vez de relatar apenas uma grande pontuação média, relate a pontuação para cada tarefa específica. Se um modelo é ótimo em detectar ataques cardíacos, mas terrível em detectar problemas de válvula, precisamos saber disso, e não apenas ver uma média de "75%".
Medir a Incerteza: Como algumas condições cardíacas são raras, os resultados podem ser instáveis. Os autores dizem que devemos relatar "intervalos de confiança" (uma faixa de possíveis pontuações) para mostrar o quão certos estamos. Se a faixa for enorme, o resultado não é confiável.
O Teste do "Sapato Aleatório": Toda vez que alguém afirmar que seu novo modelo de IA é o melhor, deve provar que ele supera a linha de base do "sapato aleatório". Se não o fizer, o modelo sofisticado não está fazendo nada de útil.

Resumo

O artigo é um chamado à ação. Ele diz que a forma atual de avaliar a IA para sinais cardíacos é como avaliar um aluno apenas pela sua capacidade de recitar o alfabeto, ignorando sua capacidade de escrever uma história. Ele revela que muitos modelos de IA "avançados" são mal melhores do que um palpite aleatório, e que precisamos começar a testá-los em um conjunto de tarefas mais amplo e clinicamente relevante, com regras de avaliação mais rigorosas e honestas.

A Conclusão Principal: O campo precisa parar de perseguir pontuações médias altas em testes estreitos e começar a provar que esses modelos podem realmente realizar os trabalhos complexos do mundo real que os médicos precisam que eles façam.

Resumo Técnico: Posição: A Avaliação de Representações de ECG Deve Ser Corrigida

Declaração do Problema

O campo do aprendizado de representação de eletrocardiogramas (ECG) de 12 derivações convergiu para um conjunto limitado de práticas de benchmarking que os autores argumentam serem insuficientes para garantir um progresso confiável e o alinhamento clínico. A avaliação atual depende fortemente de três conjuntos de dados multirrótulo públicos (PTB-XL, CPSC2018 e CSN), que se concentram predominantemente em classificação de arritmia e morfologia de onda. Os autores sustentam que esse escopo estreito ignora a capacidade do ECG de codificar informações clínicas mais amplas, como doença cardíaca estrutural, estados hemodinâmicos e prognóstico do paciente.

Além disso, o protocolo de avaliação predominante sofre de falhas metodológicas:

Limitações de Métricas: O campo depende quase exclusivamente do macro-AUROC (média não ponderada de AUROCs por rótulo). Esta métrica obscurece o desempenho em tarefas clinicamente relevantes individuais e amplifica o ruído de rótulos severamente desbalanceados (onde muitas classes têm muito poucos exemplos positivos).
Falta de Rigor: A incerteza raramente é quantificada (por exemplo, via intervalos de confiança), e testes de significância estatística são frequentemente ausentes, tornando difícil distinguir melhorias genuínas de ruído de amostragem.
Deficiências de Baseline: Muitos estudos falham em comparar representações aprendidas contra baselines simples, como codificadores inicializados aleatoriamente.

Metodologia

Os autores conduziram uma avaliação empírica para testar a robustez das conclusões atuais sobre a qualidade da representação de ECG.

Modelos Avaliados:
Cinco abordagens representativas de pré-treinamento abrangendo diferentes paradigmas (aprendizado contrastivo, reconstrução e supervisão multimodal) foram avaliadas:

CLOCS: Aprendizado contrastivo no espaço, tempo e pacientes.
KED: Modelo de fundação com destilação de conhecimento clínico.
HeartLang: Modelo de linguagem de ECG usando reconstrução e predição de tokens mascarados.
MERL: Alinhamento ECG-texto multimodal.
D-BETA: ECG-texto multimodal com regularização de reconstrução.
Baseline: Um codificador ResNet-18 1D inicializado aleatoriamente.

Datasets e Tarefas:
Os modelos foram avaliados em seis configurações, categorizadas em três famílias de tarefas:

Benchmarks Padrão: PTB-XL (subconjuntos SUPER, SUB, FORM, RHYTHM), CPSC2018 e CSN (focando em arritmia e forma de onda).
Doença Estrutural: EchoNext (ECG pareado com ecocardiografia para prever anormalidades estruturais como doença valvular e fração de ejeção).
Fisiologia e Prognóstico:
- Inferência Hemodinâmica: Predição da pressão média de cunha capilar pulmonar (mPCWP) e pressão média da artéria pulmonar (mPA) a partir de dados privados do MGH.
- Prognóstico do Paciente: Predição do desenvolvimento de insuficiência cardíaca (LVEF < 40%) em um ano a partir de dados privados do MGH.

Protocolo de Avaliação:
Os autores implementaram um framework de avaliação rigoroso aderindo às melhores práticas propostas:

Linear Probing: Todos os codificadores foram congelados, e classificadores de regressão logística com regularização $\ell_2$ foram treinados sobre os embeddings.
Métricas: Relato de ambos AUROC e AUPRC (Área sob a Curva de Precisão-Recall) para tarefas individuais, juntamente com macro-AUROC.
Quantificação de Incerteza: Intervalos de confiança de 95% foram calculados usando bootstrapping pareado (1.000 reamostragens).
Testes Estatísticos: Testes de permutação pareados foram usados para determinar se as diferenças de desempenho eram estatisticamente significativas.
Filtragem de Dados: Rótulos com insuficientes exemplos positivos no conjunto de teste (ex: <10) foram excluídos da avaliação quantitativa para reduzir o ruído.

Principais Contribuições

1. Crítica às Práticas Atuais de Benchmarking

O artigo demonstra que a dependência do macro-AUROC e a inclusão de rótulos de baixo suporte distorcem o ranking dos métodos. Quando rótulos com poucos exemplos positivos são removidos, o desempenho relativo dos métodos muda significamente. Além disso, a falta de quantificação de incerteza na literatura anterior significa que muitos ganhos reportados como "estado da arte" são estatisticamente indistinguíveis do ruído.

2. O Baseline do Codificador Aleatório

Uma descoberta central e surpreendente é que um codificador inicializado aleatoriamente com avaliação linear frequentemente iguala ou excede o desempenho de modelos de pré-treinamento de estado da arte em muitas tarefas. Especificamente:

Nos benchmarks padrão (PTB-XL, CPSC2018, CSN), o baseline aleatório frequentemente supera o CLOCS e o HeartLang.
Na tarefa de doença estrutural (EchoNext), o baseline aleatório é competitivo com métodos pré-treinados, particularmente em regimes de baixos dados (1% de dados de treinamento).
Isso sugere que, para muitas tarefas de ECG, o sinal clinicamente relevante é suficientemente aparente para que convoluções aleatórias não o distorçam, e o "aprendizado" pode estar ocorrendo primariamente no probe linear, em vez da fase de pré-treinamento.

3. Melhores Práticas de Avaliação Propostas

Os autores delineiam um conjunto de recomendações para a comunidade:

Expandir o Escopo das Tarefas: Incluir doença estrutural, hemodinâmica e prognóstico, não apenas arritmia.
Relatar Métricas Específicas por Tarefa: Priorizar AUROC e AUPRC por tarefa em vez de macro-AUROC agregado.
Quantificar a Incerteza: Sempre relatar intervalos de confiança e usar testes estatísticos para comparações.
Filtrar Rótulos de Baixo Suporte: Excluir tarefas com insuficientes exemplos positivos das métricas principais.
Adotar Baselines Aleatórios: Usar um codificador inicializado aleatoriamente como um baseline obrigatório para avaliar a utilidade real do pré-treinamento.

Resultados

Instabilidade de Ranking: Quando a incerteza é considerada, o método "vencedor" nos benchmarks padrão não é consistente. Por exemplo, KED e D-BETA frequentemente parecem dominantes via macro-AUROC, mas sua superioridade desaparece quando a significância estatística é considerada.
Heterogeneidade de Tarefas: O desempenho varia amplamente entre os tipos de tarefas. Embora KED, MERL e D-BETA mostrem ganhos em tarefas específicas de arritmia (ex: alterações de ST/T), eles não dominam universalmente.
Doença Estrutural: No EchoNext, CLOCS e HeartLang subperformam consistentemente em comparação com outros métodos e o baseline aleatório. MERL e KED mostram um desempenho mais forte em desfechos estruturais.
Prognóstico: Para a predição de insuficiência cardíaca de 1 ano, MERL e KED superam o baseline aleatório, embora o baseline aleatório ainda supere significativamente o CLOCS e o HeartLang.
Robustez: A competitividade do baseline aleatório foi verificada através de uma grade de 36 configurações diferentes (variando taxas de amostragem, filtragem, normalização e arquiteturas de backbone), confirmando que o achado não é um artefato de uma configuração específica.

Significância e Alegações

O artigo argumenta que a trajetória atual do aprendizado de representação de ECG é enganosa devido a protocolos de avaliação falhos. Os autores alegam que:

Os rankings atuais são não confiáveis: Muitas conclusões sobre qual método de pré-treinamento é o "melhor" são impulsionadas por ruído, rótulos de baixo suporte e falta de rigor estatístico, em vez de uma genuína superioridade representacional.
Os ganhos de pré-treinamento podem estar superestimados: O fato de um codificador aleatório ser frequentemente competitivo sugere que a utilidade marginal de objetivos de pré-treinamento complexos pode ser menor do que se acredita, ou que o sinal nos ECGs é mais linearmente separável do que o antecipado.
O campo deve evoluir: Para garantir que as representações sejam clinicamente úteis, a comunidade deve adotar benchmarks mais amplos e rigorosos que reflitam todo o escopo da utilidade do ECG (estrutural, hemodinâmica e prognóstica) e aderir a padrões rigorosos de reporte estatístico.

Os autores posicionam este trabalho como uma correção necessária para garantir que o desenvolvimento metodológico futuro no aprendizado de representação de ECG esteja alinhado com objetivos clinicamente significativos e padrões científicos reprodutíveis.