Resumo Técnico: dashi – Uma Biblioteca Python para Caracterização de Desvio de Conjuntos de Dados

Declaração do Problema

A implementação da Inteligência Artificial (IA) na saúde enfrenta um desafio crítico: a suposição de distribuições de dados estáticas entre o desenvolvimento do modelo e a operação no mundo real é frequentemente inválida. Em ambientes clínicos dinâmicos, os desvios de conjuntos de dados (dataset shifts) — mudanças na distribuição de probabilidade conjunta $P(X, Y)$ entre o treinamento e a implantação — ocorrem devido à evolução temporal (ex: mudanças em diretrizes clínicas, mudanças epidemiológicas) ou heterogeneidade de múltiplas fontes (ex: diferenças entre hospitais).

Esses desvios se manifestam como:

• Desvio de Covariável (Covariate Shift): Mudanças na distribuição das características de entrada $P(X)$.
• Desvio de Prior (Label Shift): Mudanças na prevalência de resultados $P(Y)$.
• Desvio de Conceito (Concept Shift): Mudanças na relação condicional $P(Y|X)$.

As abordagens atuais para qualidade de dados geralmente dependem de verificações univariadas estáticas (completude, conformidade) ou métricas de desempenho retrospectivas. Esses métodos falham em detectar "desconhecidos desconhecidos" multivariados complexos e falhas silenciosas onde os modelos degradam sem disparar alertas padrão. Além disso, embora existam fundamentos teóricos para a detecção de desvios, há uma carência de ferramentas de software acessíveis e agnósticas a modelos para operacionalizar esses conceitos para o MLOps diário na IA da saúde.

Metodologia

O artigo apresenta o dashi, uma biblioteca Python de código aberto projetada para preencher a lacência entre a detecção de desvio teórica e o monitoramento prático de IA na saúde. Ele emprega uma arquitetura de abordagem dupla:

1. Módulo Não Supervisionado (Centrado nos Dados)

Este módulo é agnóstico ao modelo, analisando as propriedades de informação dos lotes de dados sem depender de algoritmos preditivos.

• Estimativa de Distribuição: Constrói mapas temporais de dados (evolução ao longo do tempo) e mapas de fontes de dados (heterogeneidade entre locais) através da estimativa de distribuições de probabilidade empíricas.
• Redução de Dimensionalidade: Para lidar com dados clínicos de alta dimensão, integra técnicas como PCA, SVD, MCA e FAMD para projetar os dados em subespaços de menor dimensão.
• Projeção de Densidade: Utiliza a Estimativa de Densidade de Kernel (KDE) para gerar funções de densidade de probabilidade conjunta contínuas, visualizadas como variedades (manifolds) 2D/3D.
• Métricas de Distância: Quantifica a divergência entre lotes usando a distância de Jensen-Shannon (JS), uma métrica simétrica limitada entre 0 (idênticos) e 1 (disjuntos).
• Análise Visual:
  • Gráficos de Geometria Informacional Temporal (IGT): Projeta dissimilaridades de lotes temporais em uma variedade estatística não paramétrica para visualizar trajetórias, sazonalidade e mudanças abruptas.
  • Gráficos de Variabilidade de Múltiplas Fontes (MSV): Visualiza a heterogeneidade espacial usando duas métricas inovadoras:
    • Desvio Probabilístico Global (GPD): Um escalar que mede a dispersão total entre todas as fontes.
    • Excentricidade Probabilística da Fonte (SPO): Identifica fontes específicas que se desviam significativamente da tendência central.
• Análise Condicional: Permite o isolamento de $P(X|Y)$ para detectar especificamente desvios de conceito.

2. Módulo Supervisionado (Centrado no Modelo)

Este módulo mede diretamente o impacto dos desvios de distribuição no desempenho preditivo.

• Pipeline Automatizado: Automatiza o treinamento e a avaliação cruzada de modelos preditivos de base (padrão: Random Forests e Histogram Gradient Boosting).
• Estratégias de Treinamento: Suporta estratégias cumulativas (treinamento sobre dados históricos acumulados) e do zero (treinamento em lotes únicos).
• Avaliação Cruzada de Lotes (Cross-Batch): Modelos treinados em lotes temporais ou de origem específicos são avaliados contra todos os outros lotes para gerar matrizes de desempenho.
• Métricas: Monitora métricas padrão de classificação (AUC, F1, Precisão/Recall) e regressão (MAE, RMSE, $R^2$) para quantificar a degradação do desempenho.

Principais Contribuições

1. Estrutura de Abordagem Dupla: O dashi combina unicamente a análise de distribuição não supervisionada com o rastreamento de desempenho supervisionado, permitindo que os usuários correlacionem desvios de dados diretamente com a degradação do modelo.
2. Métricas e Visualizações Inovadoras: Introduz gráficos IGT para rastreamento temporal e métricas MSV (GPD/SPO) para caracterização de múltiplas fontes, indo além da simples detecção de desvio par a par para uma análise topológica global.
3. Operacionalização da Teoria: A biblioteca traduz conceitos estatísticos complexos (variedades estatísticas, divergência JS) em um pipeline programático acessível, compatível com formatos padrão de EHR (pandas DataFrames) e dados multimodais (via embeddings para texto/imagem).
4. Taxonomia Abrangente: Os autores fornecem uma tabela estruturada que vincula tipologias específicas de desvio (abrupto, gradual, sazonal, de subgrupo) aos métodos de detecção dentro do dashi, seus efeitos na IA e estratégias de mitigação recomendadas.

Resultados

A utilidade do dashi foi validada através de três estudos de caso de IA na saúde:

• Cohorte Simulada de Diabetes Gestacional (GDM) (Desvio de Conceito Temporal):

  • O dashi detectou com sucesso um período simulado de codificação inconsistente (2021–2022) onde a distribuição condicional $P(X|Y)$ estava emaranhada.
  • Gráficos IGT delinearam claramente dois subgrupos temporais distintos separados por um desvio topológico.
  • A análise supervisionada confirmou que modelos treinados nos primeiros lotes "ruidosos" sofreram severas falhas de generalização nos dados posteriores corrigidos, validando a capacidade da biblioteca de prever falhas silenciosas.

• Cohorte COVID-19 do México (Adaptação de Domínio de Múltiplas Fontes):

  • A biblioteca identificou severas heterogeneidades estruturais entre instituições do Sistema Nacional de Saúde (NHS).
  • Gráficos MSV destacaram instituições específicas (ex: tipos de NHS 1 e 15) como outliers com altos valores de SPO e desequilíbrios de classe distintos.
  • Matrizes de desempenho entre instituições revelaram que modelos treinados em certos domínios falharam ao serem transferidos para outros, enquanto o biclustering identificou grupos de hospitais com distribuições de dados compatíveis.

• Despacho de Emergência 112 da Comunidade Valenciana (Desvio Temporal Multimodal):

  • Aplicado a 2,5 milhões de registros de chamadas de emergência de texto livre, o dashi utilizou embeddings contextuais (BioLord-2023) para rastrear a dinâmica de dados não estruturados.
  • Gráficos IGT identificaram um desvio abrupto no final de 2014 (devido à migração de sistema) e um desvio secundário em março de 2020 (ligado aos lockdowns da pandemia).
  • A biblioteca capturou forte sazonalidade nos padrões de chamadas e demonstrou como o treinamento no lote pré-2014 resultou nos menores escores de generalização ao longo da linha do tempo.

Significância e Alegações

O artigo posiciona o dashi não apenas como uma ferramenta analítica, mas como um mecanismo fundamental para a auditoria algorítmica contínua, essencial para uma IA Confiável.

• Do Reativo ao Proativo: Os autores argumentam que o dashi permite uma mudança de paradigma da análise reativa de "falhas silenciosas" para a governança de dados proativa e em tempo real. Ao detectar instabilidades de dados subjacentes antes que se manifestem como erros clínicos, as instituições podem acionar recalibrações ou restringir a implantação.
• Preenchendo a Lacuna: A biblioteca aborda o gargalo entre a detecção de desvio teórica e o MLOps prático, fornecendo um kit de ferramentas de ponta a ponta que traduz a teoria matemática complexa em insights acionáveis.
• Conformidade Regulatória: Os autores afirmam que o dashi fornece a infraestrutura necessária para cumprir os padrões emergentes de regulação para IA Confiável, garantindo que as suposições estatísticas de um modelo permaneçam alinhadas com as realidades clínicas em evolução.
• Custo-Efetividade: Ao utilizar modelos de árvore eficientes e focar na interpretabilidade em vez da maximização absoluta da predição, a biblioteca oferece uma solução de custo-benefício para robustez e segurança em ambientes de saúde dinâmicos.

O artigo conclui que gerenciar o desvio de conjuntos de dados não é uma tarefa isolada pós-implantação, mas um requisito contínuo ao longo de todo o ciclo de vida da IA, e o dashi facilita essa auditoria rigorosa em cada etapa.