Spherical Mixture Integration for Latent Embedding Alignment across Multi-Source Feature Spaces

Resumo Técnico: Integração de Mistura Esférica para Alinhamento de Embeddings Latentes (SMILE)

1. Declaração do Problema

O artigo aborda o desafio de integrar dados de Registros Eletrônicos de Saúde Multi-Institucionais (Multi-EHR) para suportar a modelagem preditiva e a geração de evidências do mundo real. Embora a agregação de dados entre instituições aumente a robustez do modelo, existem barreiras significativas:

• Espaços de Características Heterogêneos: As instituições utilizam diferentes padrões de codificação, práticas de documentação local e mapeamentos incompletos para ontologias compartilhadas (por exemplo, ICD-9, RxNorm, LOINC).
• Granularidade e Fragmentação: Os códigos brutos de EHR são frequentemente excessivamente granulares e específicos da instituição, levando a representações fragmentadas do mesmo conceito clínico.
• Incompatibilidade no Nível de Representação: O problema estende-se além da ausência de dados, abrangendo o desalinhamento dos espaços de características. A agregação ingênua de características ou a restrição da análise a características compartilhadas descartam informações valiosas ou introduzem erros de medição.
• Restrições de Privacidade: O compartilhamento direto de dados ao nível do paciente é frequentemente inviável. As instituições devem depender de resumos que preservam a privacidade (por exemplo, embeddings, estatísticas de co-ocorrência) para facilitar a integração.

O desafio estatístico central é formulado como um problema de variáveis latentes acoplado: recuperar uma representação latente comum a partir de visões heterogêneas, ruidosas e parcialmente sobrepostas de conceitos clínicos subjacentes, identificando simultaneamente conjuntos de características sinônimas (correspondências muitos-para-um) sem mapeamentos totalmente observados.

2. Metodologia: O Framework SMILE

Os autores propõem o SMILE (Integração de Mistura Esférica para Alinhamento de Embeddings Latentes), um framework probabilístico que aborda conjuntamente o alinhamento de representações e a recuperação de sinônimos. O método opera sobre embeddings de norma unitária derivados de fontes heterogêneas.

Componentes do Modelo Generativo:

1. Modelo Fatorial Latente Multi-Fonte:
   • Cada característica $i$ possui uma representação latente compartilhada e de norma unitária $V_i \in \mathbb{R}^r$.
   • Os embeddings observados $U^{(l)}_i$ da fonte $l$ são modelados como $U^{(l)}_i = W_l V_i + E^{(l)}_i$, onde $W_l$ é uma matriz de carga específica da fonte e $E^{(l)}_i$ é ruído sub-Gaussiano. Isso projeta visões heterogêneas em um espaço de baixa dimensão compartilhado.
2. Mistura Esférica para Grupos de Sinônimos:
   • Para recuperar grupos latentes de sinônimos, as representações compartilhadas $\{V_i\}$ são modeladas como uma mistura de $K$ distribuições von Mises-Fisher (vMF) na hipersfera unitária: $V_i \sim f_r(x; \mu_{z_i}, \kappa)$.
   • Aqui, $z_i$ denota a pertença ao cluster latente (grupo de sinônimos), $\mu_k$ é a direção média de norma unitária do cluster $k$, e $\kappa$ é um parâmetro de concentração. Isso permite que características sinônimas flutuem em torno de um centro compartilhado, em vez de colapsar para um único ponto.
3. Supervisão Relacional Auxiliar:
   • O modelo incorpora informações esparsamente observadas de um grafo de conhecimento auxiliar por meio de dois modelos logísticos para supervisionar a geometria latente:
     • Modelo de Similaridade: Vincula rótulos de similaridade (por exemplo, "Paracetamol" vs. "Ibuprofeno") às médias dos clusters $\mu$.
     • Modelo de Relacionamento: Vincula rótulos de relacionamento funcional (por exemplo, "Diabetes Tipo 2" vs. "Metformina") diretamente às representações latentes $V$.
   • Esses modelos fornecem supervisão fraca, permitindo a integração de sinais de similaridade esparsos e ruidosos sem exigir pares totalmente observados.

Estimação e Algoritmo:

• Quase-Verosimilhança Composta: Como uma verossimilhança conjunta totalmente especificada é impraticável, o SMILE minimiza uma soma ponderada de quatro componentes de perda:
  1. Perda quadrática normalizada por dimensão para o alinhamento fatorial multi-fonte.
  2. Log-verossimilhança negativa para a mistura vMF (impondo concentração em torno das médias).
  3. Log-verossimilhança negativa para pares de similaridade.
  4. Log-verossimilhança negativa para pares de relacionamento.
• Otimização: O objetivo composto é resolvido por meio de um procedimento alternado em blocos (Algoritmo 1). Ele inicializa os embeddings de características usando apenas os componentes de alinhamento e relacionamento, atualiza iterativamente os parâmetros ao nível do conceito (médias e atribuições de cluster) por meio de um algoritmo de Esperança-Maximização (EM) e refina os parâmetros ao nível da característica.

3. Principais Contribuições

• Framework Unificado: O SMILE é o primeiro framework a agrupar conjuntamente a recuperação de sinônimos e a evidência de alinhamento dentro de um único objetivo estatístico, tratando-os como um único problema de estimação em vez de etapas sequenciais.
• Tratamento de Heterogeneidade: Ele acomoda dimensões de embedding heterogêneas, sobreposição parcial de características e correspondências muitos-para-um sem exigir imputação de dados.
• Garantias Teóricas: O artigo estabelece as primeiras garantias de recuperação adaptadas ao regime "alto número de clusters, pequeno tamanho de cluster, multi-visão" comum em dados de EHR.
  • Limites de Erro Não-Assintóticos: Limites provados para embeddings latentes $\{V\}$ e direções médias de cluster $\{\mu\}$.
  • Consistência: Consistência provada da recuperação de clusters de sinônimos à medida que o tamanho do vocabulário cresce.
  • Integração Multi-Canal: A teoria quantifica como os ganhos estatísticos escalam com o número de fontes, o grau de sobreposição e a disponibilidade de informações relacionais auxiliares.
• Implementação Algorítmica: Um estimador de verossimilhança composta computacionalmente tratável que aproveita tanto a estrutura vMF quanto pares relacionais auxiliares.

4. Resultados

Estudos de Simulação:

• O SMILE foi comparado a bases de integração multi-visão (SVD, AJIVE, SLIDE) combinadas com k-means ou agrupamento hierárquico.
• Desempenho: O SMILE alcançou consistentemente a maior precisão na recuperação de embeddings latentes, estimação de médias de cluster e agrupamento (medido por Informação Mútua Ajustada, AMI) através de variados números de fontes ($L$), parâmetros de concentração ($\kappa$) e contagens de clusters ($K$).
• Robustez: O SMILE manteve desempenho superior mesmo em configurações de agrupamento de alta resolução ($K=100$, média de 10 códigos por cluster) e com supervisão relacional esparsa.
• Supervisão Relacional: O desempenho melhorou à medida que a quantidade de supervisão relacional aumentava, alinhando-se com as taxas teóricas.

Aplicação no Mundo Real (EHR Multi-Institucional):

• Dados: Dados de EHR integrados do Mass General Brigham (MGB) e do Departamento de Assuntos de Veteranos (VA), incluindo PheCodes, RxNorm, LOINC e códigos locais específicos do VA.
• Qualidade do Embedding: O SMILE alcançou uma melhoria significativa na previsão de relacionamento (AUC aumentou de 0,7762 para 0,9455 em comparação com a base mais forte, SLIDE), demonstrando sua capacidade de capturar relações geométricas entre clusters que a decomposição de baixo posto perde. Também mostrou a maior correlação com escores de relevância semântica do GPT-4 para seleção de características relevantes para doenças.
• Agrupamento e Harmonização: O SMILE superou significativamente todas as bases no agrupamento de códigos sinônimos:
  • PheCode: AMI melhorou de 0,24 para ~0,40 (67% de ganho).
  • RxNorm: AMI melhorou de 0,09 para ~0,17 (82% de ganho).
  • Códigos de Laboratório: AMI melhorou de 0,07 para ~0,16 (122% de ganho).
  • Códigos Locais de Laboratório do VA: AMI melhorou de 0,06 para ~0,17 (185% de ganho), destacando sua utilidade no mapeamento de códigos específicos da instituição para ontologias padronizadas.

5. Significado e Alegações

O artigo afirma que o SMILE fornece uma infraestrutura escalável para representação de pacientes multi-modal e multi-institucional. Seu significado reside em:

• Alinhamento Direto: Alinha códigos específicos da instituição diretamente dentro de uma representação latente compartilhada, mitigando discrepâncias de codificação no nível da representação em vez de tratar a harmonização como um problema de mapeamento post-hoc.
• Preservação de Privacidade: Permite análise integrativa usando apenas representações de resumo que preservam a privacidade (embeddings e pares relacionais esparsos) sem expor registros ao nível individual.
• Extensibilidade: Como opera no nível do embedding, o framework pode incorporar naturalmente conceitos narrativos de notas clínicas (por exemplo, frases de sintomas) juntamente com códigos estruturados, avançando em direção a uma harmonização de EHR totalmente automatizada e impulsionada por representações.
• Rigor Estatístico: Oferece uma alternativa probabilística principial ao tratamento de sinônimos ad-hoc e à agregação heurística de códigos, com garantias teóricas de recuperação em configurações complexas e de alta dimensão.