Resumo Técnico: ADAPTOOD – Ajuste Fino Consciente de Incerteza para Modelos de Séries Temporais de ECG Fora da Distribuição

Declaração do Problema

A implantação de modelos de aprendizado de máquina treinados em dados de sensores em larga escala em ambientes clínicos do mundo real enfrenta obstáculos significativos devido a mudanças de distribuição. Embora o pré-treinamento ofereça uma base, os modelos frequentemente têm dificuldade quando ajustados (fine-tuned) em conjuntos de dados anotados pequenos que diferem da distribuição de pré-treinamento. Essas discrepâncias surgem de diversas fontes, incluindo heterogeneidade populacional, tipos de sensores variados, protocolos de coleta distintos e desvios temporais.

Os métodos de adaptação existentes, como o aprendizado por transferência (transfer learning) e a adaptação de domínio, tipicamente assumem mudanças de distribuição fixas ou tratam casos Fora da Distribuição (OOD - Out-of-Distribution) como um estado binário (dentro do domínio vs. fora do domínio). Eles falham em considerar a severidade ou a granularidade dessas mudanças. Consequentemente, aplicam frequentemente estratégias de adaptação uniformes, independentemente de a mudança ser leve (ex: uma população ligeiramente diferente) ou severa (ex: uma nova modalidade de sensor), levando a uma generalização subótima, sobreajuste (overfitting) em conjuntos de dados pequenos ou esquecimento catastrófico.

Metodologia: Estrutura ADAPTOOD

Os autores propõem o ADAPTOOD, uma estrutura projetada para quantificar a severidade da mudança de distribuição e guiar o ajuste fino dinamicamente. O sistema opera através de quatro módulos interconectados:

1. Quantificação de Severidade Guiada por Incerteza

A inovação central é o uso da incerteza dos dados para medir o quanto um conjunto de dados alvo ($D_t$) diverge da distribuição de pré-treinamento de origem ($D_s$).

• Redução de Dimensionalidade: Sinais de ECG de alta dimensão são reduzidos a um componente dominante usando Análise de Componentes Principais (PCA) para melhorar a estimativa de densidade.
• Métricas de Distância: A estrutura calcula a divergência ao nível da distribuição usando duas métricas complementares:
  • Distância de Mahalanobis ($d_m$): Mede a distância dos novos lotes (batches) em relação ao centro da distribuição conhecida, levando em conta as correlações e a escala das características.
  • Distância de Hellinger ($d_h$): Quantifica a semelhança entre as distribuições de probabilidade globais da origem e do alvo.
• Métrica Combinada: Essas distâncias são normalizadas e combinadas em um escore de incerteza ponderado, $\sigma(D_t | P(D_s))$, onde um escore mais alto indica uma mudança OOD mais severa.

2. Descongelamento Seletivo de Camadas

Em vez de realizar o ajuste fino de todo o modelo ou de um subconjunto fixo, o ADAPTOOD determina dinamicamente quantas camadas devem ser descongeladas com base no escore de incerteza calculado.

• Estratégia: Emprega uma combinação de funções de decaimento linear e exponencial.
  • Linear: O número de camadas descongeladas é proporcional ao inverso da incerteza.
  • Exponencial: Utiliza um fator de decaimento para aumentar a sensibilidade aos níveis de incerteza.
• Execução: O número final de camadas treináveis é a média dessas duas calculações. As camadas são descongeladas começando do topo (mais próximas da saída) em direção à base. Isso garante que mudanças leves exijam alterações arquitetônicas mínimas, enquanto mudanças severas acionam uma adaptação mais extensa, equilibrando o risco de sobreajuste e subajuste.

3. Adaptação de Baixo Posto (LoRA)

Para manter a eficiência computacional e evitar o sobreajuste em dados alvo limitados, a estrutura integra o LoRA em todas as camadas Conv1D.

• Mecanismo: Os pesos pré-treinados são congelados, e matrizes de baixo posto treináveis e leves são introduzidas.
• Benefício: Isso reduz significativamente a contagem de parâmetros e a pegada de memória, focando a capacidade do modelo no aprendizado de padrões temporais locais onde é mais necessário.

4. Otimização Adaptativa de Hiperparâmetros

Reconhecendo que hiperparâmetros ótimos para o pré-treinamento podem não ser adequados para tarefas OOD, a estrutura utiliza Otimização Bayesiana.

• Processo: Ela busca iterativamente configurações ideais para o otimizador (ex: Adam, RMSprop) e a taxa de aprendizado sobre um espaço de busca definido.
• Objetivo: Identificar configurações que melhor acomodem a mudança de distribuição específica sem ajuste manual.

Principais Contribuições

1. Quantificação de Severidade Inovadora: Introdução de um mecanismo que aproveita a incerteza dos dados (via distâncias de Mahalanobis e Hellinger) para avaliar a severidade das mudanças OOD em relação aos dados de pré-treinamento, indo além das suposições binárias de dentro/fora do domínio.
2. Adaptação Flexível à Severidade: Desenvolvimento de uma abordagem que utiliza escores de incerteza para guiar o descongelamento seletivo de camadas e a otimização de hiperparâmetros, garantindo que a estratégia de adaptação corresponda à complexidade da mudança.
3. Eficiência e Robustez: Integração do LoRA e da otimização Bayesiana para alcançar um ajuste fino de parâmetros eficiente, mantendo um forte desempenho em diversas métricas mesmo conforme a severidade da mudança de distribuição aumenta.

Resultados Experimentais

Os autores avaliaram o ADAPTOOD em conjuntos de dados de séries temporais de ECG envolvendo várias mudanças (população, sensor, temporal, rótulo, modalidade e dimensionalidade) comparando-o com basais (baselines) que incluem Aprendizado por Transferência padrão, Aprendizado Supervisionado, Adaptação de Domínio Baseada em Características e Adaptação de Domínio Baseada em Instância.

• Ganhos de Desempenho: O ADAPTOOD superou consistentemente todos os basais.
  • No conjunto de dados MIT-BIH (mudança de sensor/população), alcançou 0,953 de acurácia e 0,930 de precisão, superando o melhor basal (DA baseado em características) em 1,3% em acurácia e 0,9% em precisão.
  • No conjunto de dados PTB-DB, apresentou uma melhoria de 11,9% na acurácia em relação ao Aprendizado por Transferência (0,922 vs. 0,803) e uma melhoria de 12,9% na precisão.
  • No conjunto de dados MIMICPERform PPG (uma mudança de modalidade severa de ECG para PPG), o ADAPTOOD atingiu 0,975 de acurácia, superando o melhor basal em aproximadamente 3% (0,945).
  • No conjunto de dados CODEtest (mudança de dimensionalidade com ECG de 12 derivações), alcançou 0,922 de acurácia, superando o próximo melhor método (DA baseado em características, com 0,894).
• Estudos de Ablação: A remoção de componentes (métricas de incerteza, ajuste de hiperparâmetros ou LoRA) degradou consistentemente o desempenho, confirmando a necessidade da estrutura completa. Especificamente, a combinação de ambas as métricas de distância forneceu resultados mais consistentes do que usar apenas uma delas.
• Eficiência: Ao utilizar LoRA e descongelamento seletivo, o ADAPTOOD reduziu significativamente a contagem total de parâmetros e a pegada de memória. Por exemplo, no conjunto de dados MIT-BIH, o tamanho do modelo foi reduzido de ~29,17 MB (sem LoRA) para 8,61 MB.

Significância e Alegações

O artigo afirma que o ADAPTOOD aborda uma lacuna crítica na interpretação de sinais biológicos: a falta de métodos que possam se adaptar a variáveis severidades de mudanças de distribuição. Ao tratar a adaptação OOD como um processo dependente da severidade, em vez de um protocolo fixo, a estrutura alcança:

• Generalização Robusta: Mantendo alta acurácia e precisão mesmo quando os dados de teste divergem significativamente dos dados de treinamento devido a múltiplos tipos de mudanças sobrepostas.
• Eficiência de Recursos: Alcançando esses ganhos com menos parâmetros e menores custos computacionais, tornando-o adequado para implantação em ambientes com restrições de recursos.
• Calibragem: Fornecendo um desempenho mais equilibrado entre métricas (acurácia, precisão, recall, F1) em comparação com os basais, que frequentemente sofrem de problemas de desequilíbrio de classes (ex: baixa sensibilidade).

Os autores posicionam o ADAPTOOD como uma abordagem confiável e orientada por dados para o ajuste fino de modelos pré-treinados em cenários do mundo real, fora da distribuição, particularmente onde os dados rotulados são escassos ou as características da mudança são desconhecidas ou variáveis.