ECG-InterpBench: Benchmarking the Interpretability of ECG Foundation Models with Matched-Scale Sparse Autoencoders

Resumo Técnico: ECG-InterpBench

Definição do Problema
Os benchmarks existentes para modelos de fundação (FMs) de Eletrocardiograma (ECG) avaliam predominantemente o desempenho preditivo em tarefas subsequentes (downstream), como a acurácia na classificação de ritmos ou predição de risco. Essas avaliações falham em revelar como as representações ocultas internas estão organizadas. Especificamente, os métodos atuais não determinam se essas representações podem ser decompostas de forma fiel, se medições clinicamente relevantes estão localizadas em características identificáveis, ou se as mesmas propriedades estruturais são recuperadas através de análises independentes. Essa lacuna é crítica em ambientes clínicos porque representações compartilhadas podem propagar artefatos de aquisição, confusão demográfica e atalhos específicos de coorte para cada modelo subsequente construído sobre elas. Além disso, as ferramentas de interpretabilidade existentes (ex: atribuição de saída ou sondas lineares) abordam questões diferentes da auditoria de representações ocultas de tarefas gerais e frequentemente carecem do rigor necessário para distinguir entre acurácia preditiva e interpretabilidade real ao nível da representação.

Metodologia
O artigo apresenta o ECG-InterpBench, um benchmark projetado para avaliar sistematicamente a interpretabilidade das representações de modelos de fundação de ECG utilizando Autoencoders Esparsos (SAEs) como instrumentos de medição padronizados. O princípio central de design é o pareamento de capacidade: para permitir comparações controladas, o benchmark avalia os modelos usando SAEs com larguras de dicionário e configurações de esparsidade correspondentes, garantindo que as diferenças nos resultados derivem dos próprios modelos de fundação e não de variações na capacidade de medição dos SAEs.

Os componentes metodológicos principais incluem:

• Modelos e Dados: O benchmark avalia seis modelos de fundação de ECG congelados (CSFM, CARDIAC-FM, ECG-FM, ECG-JEPA, HuBERT-ECG e ST-MEM) através do conjunto de dados PTB-XL. Uma validação externa é realizada em uma coorte credenciada MIMIC-IV-ECG.
• Grade Experimental: A avaliação abrange um atlas de 450 células construído a partir de:
  • 6 Modelos
  • 5 profundidades relativas padronizadas do codificador ($q \in \{0, 0.25, 0.5, 0.75, 1\}$)
  • 5 fatores de expansão de dicionário correspondentes ($E \in \{1, 4, 8, 16, 32\}$)
  • 3 sementes aleatórias (random seeds)
    Isso resulta em 75 blocos de "correspondência exata", onde todos os seis modelos compartilham a mesma profundidade alvo, capacidade de dicionário, protocolo de esparsidade e semente.
• Configuração do SAE: Os SAEs utilizam uma função de ativação BatchTopK com um orçamento de recursos ativos fixo em relação ao tamanho do dicionário ($k/d = 1/8$). Todos os atlas de camadas de origem são padronizados para a dimensão $d=768$.
• Métricas: O benchmark avalia três eixos complementares:
  1. Fidelidade de Reconstrução Esparsa: Medida por $R^2$ de reconstrução normalizado, fração de recursos mortos (dead-feature fraction) e esparsidade média realizada ($L_0$).
  2. Acessibilidade Clínica de Recurso Único: A correlação entre as coordenadas individuais dos recursos do SAE e 49 medições de ECG clinicamente significativas (ex: intervalos, amplitudes, alterações de ST-T). Os recursos são selecionados em um subconjunto de treinamento e avaliados em dados de teste mantidos à parte para evitar vazamento (leakage).
  3. Reprodutibilidade entre Sementes: A estabilidade das direções do decodificador e dos subespaços de recursos entre diferentes sementes aleatórias, medida via similaridade de cosseno correspondente e sobreposição de subespaço.
• Quantificação de Incerteza: O framework incorpora a incerteza de amostragem de pacientes via bootstrapping e a incerteza de design via variações de semente e profundidade, utilizando comparações estatísticas pareadas.

Principais Contribuições

1. Benchmark com Controle de Capacidade: Introdução de um framework para comparar a interpretabilidade ao nível da representação entre ECG FMs sob um protocolo de SAE correspondente, separando as diferenças do modelo das diferenças de capacidade de medição.
2. Atlas de Interpretabilidade de 450 Células: Construção de um atlas abrangente mapeando como a interpretabilidade da representação muda através da profundidade do codificador e da escala do SAE, fornecendo um perfil estruturado para cada modelo.
3. Métricas com Controle de Vazamento: Definição de métricas que abrangem fidelidade esparsa, acessibilidade clínica de recurso único e reprodutibilidade entre sementes, garantindo que a seleção de recursos ocorra estritamente nos dados de treinamento antes da avaliação em dados mantidos à parte.
4. Comparações Robustas: Provisão de comparações apoiadas por incerteza de paciente e de design, análise de sensibilidade de esparsidade (comparando $k/d$ fixo vs. $k/N$ fixo) e validação em coorte externa.

Resultos
O benchmark revela que os modelos de fundação de ECG exibem perfis de interpretabilidade distintos e específicos por métrica; nenhum modelo único domina em todas as dimensões.

• Fidelidade de Reconstrução: O HuBERT-ECG alcança a maior fidelidade de reconstrução (AUC 0.985 no PTB-XL, 0.990 no MIMIC-IV), seguido pelo ECG-JEPA e CSFM.
• Acessibilidade Clínica: O ECG-JEPA demonstra a maior acessibilidade clínica de recurso único e cobertura de conceitos (AUC 0.3 e 0.781, respectivamente), superando outros modelos na localização de conceitos clínicos em recursos esparsos.
• Estabilidade e Utilização: O ECG-FM exibe a menor fração de recursos mortos (0.099) e a maior estabilidade de recursos, enquanto o CSFM mostra a maior estabilidade de subespaço.
• Validação Externa: A replicação no MIMIC-IV-ECG confirma que a separação entre os líderes de reconstrução (HuBERT-ECG) e os líderes de acessibilidade (ECG-JEPA) é preservada entre os conjuntos de dados.
• Estabilidade de Ranking: Os rankings de reconstrução são altamente estáveis através das capacidades de SAE (Kendall $\tau = 1.00$), enquanto os rankings de acessibilidade e cobertura mostram estabilidade moderada, indicando que algumas propriedades de interpretabilidade são mais sensíveis à escala do dicionário do que outras.

Significância e Alegações
O artigo afirma que o ECG-InterpBench fornece um framework controlado por capacidade e reprodutível para comparar modelos de fundação de ECG através de dimensões distintas de interpretabilidade de representação. Argumenta-se que a interpretabilidade da representação não é equivalente à acurácia preditiva ou decodificabilidade linear, mas requer medições explícitas e complementares.

Os autores enfatizam que o benchmark caracteriza a estrutura das representações de modelos congelados sob um protocolo correspondente. Eles declaram explicitamente que as ordenações de modelos relatadas são específicas para as propriedades de representação avaliadas (fidelidade, acessibilidade, estabilidade) e não devem ser interpretadas como rankings de desempenho diagnóstico ou valor clínico geral. O trabalho não estabelece mecanismos fisiológicos ou desfechos clínicos prospectivos. Em vez disso, estabelece uma base para o desenvolvimento e seleção criteriosa de modelos de fundação de ECG interpretáveis, conectando a geometria da representação com conceitos clínicos através de modelos e escalas. O framework é apresentado como extensível para outras modalidades clínicas, incluindo imagem médica, EEG e prontuários eletrônicos.