iLoRA: Bayesian Low-Rank Adaptation with Latent Interaction Graphs for Microbiome Diagnosis

Resumo Técnico: iLoRA

Declaração do Problema
A adaptação eficiente em parâmetros, particularmente a Adaptação de Baixo Rango (LoRA), permitiu que Modelos de Linguagem de Grande Escala (LLMs) fossem aplicados a tarefas específicas de domínio com dados e capacidade computacional limitados. No entanto, a LoRA padrão depende de atualizações de baixo rango estáticas e globais que tratam os recursos de entrada como condicionalmente independentes. Essa abordagem falha em capturar estruturas de interação latentes que são frequentemente críticas para diagnósticos científicos, como a comunicação cruzada entre táxons microbianos no microbioma intestinal. Além disso, aplicações clínicas exigem não apenas precisão preditiva, mas também incerteza calibrada e robustez. Pipelines existentes frequentemente separam a previsão da análise de interação (a posteriori) ou dependem de inferência de rede baseada em correlação, que é frágil à natureza composicional e esparsa dos dados do microbioma.

Metodologia
Os autores propõem o iLoRA, o primeiro framework de LoRA condicionado a grafos bayesianos. Diferentemente da LoRA padrão, que aprende uma única matriz de atualização compartilhada entre todas as amostras, o iLoRA infere um grafo de interação latente a partir de cada amostra de entrada e utiliza esse grafo para gerar atualizações de LoRA específicas da amostra. O framework opera por meio de um pipeline de dois ramos:

1. Processamento de Entrada e Seleção de Táxons: Dado um perfil de abundância do microbioma $X \in \mathbb{R}^M$, uma função de seleção $S(\cdot)$ identifica $K < M$ táxons-chave.
2. Inferência de Grafo Latente (Ramo Bayesiano):
   • Grafo de Poisson: O modelo primeiro infere um grafo de interação latente onde os pesos das arestas $\tilde{\alpha}_{ij}$ são modelados como variáveis aleatórias não negativas seguindo uma distribuição de Poisson, $\tilde{\alpha}_{ij} \sim \text{Pois}(m_{ij})$. Isso captura forças de co-ocorrência incertas. Para permitir treinamento diferenciável, os autores empregam um proxy Gaussiano para a distribuição de Poisson e derivam um teorema de correspondência de taxas em forma fechada para minimizar a divergência KL entre a Gaussiana variacional e o Poisson alvo.
   • Grafo Laplace Esparsificado: Para impor esparsidade (refletindo que a maioria dos pares de táxons não interage), as variáveis de aresta de Poisson são transformadas em variáveis de aresta distribuídas conforme Laplace, $\bar{\alpha}_{ij} \sim \text{Laplace}(0, b_{ij})$. Essa transformação utiliza Redes de Parâmetro Natural (NPNs) para mapear a incerteza de Poisson para um parâmetro de escala Laplace sem amostragem discreta.
   • Embutimento (Embedding): O grafo esparsificado resultante $\hat{A}$ é embutido usando uma Rede Neural de Grafos (GNN).
3. Adaptação Condicionada ao Grafo: O embutimento da GNN é alimentado em uma hiper-rede que gera a matriz de atualização LoRA $A$ para a amostra de entrada específica. A matriz $B$ permanece estática. A base do LLM permanece congelada.
4. Previsão Bayesiana: A previsão final é obtida marginalizando sobre a incerteza no grafo inferido usando amostragem de Monte Carlo, fornecendo estimativas de incerteza calibradas.

O objetivo de aprendizado combina a perda da tarefa (por exemplo, entropia cruzada) com termos de regularização KL tanto para o prior de Poisson quanto para o prior de esparsidade Laplace.

Principais Contribuições

• Inovação de Framework: Introdução do iLoRA, um framework de LoRA condicionado a grafos bayesianos que aprende conjuntamente a previsão e estruturas de interação latentes, em vez de tratá-las como etapas separadas a posteriori.
• Mecanismo: O método trata a comunicação cruzada microbe-microbe como um mecanismo biológico latente e consciente de incerteza. Utiliza modelagem de arestas de Poisson para a força de interação e esparificação ponderada por Laplace para aprender grafos esparsos e interpretáveis sob um único objetivo fim-a-fim.
• Validação: O framework é validado em dois cenários distintos:
  1. QA Interativo (Molweni): Usando grafos de dependência de discurso anotados por humanos para testar a recuperação de estrutura latente.
  2. Diagnóstico de EII: Usando dados de microbioma de múltiplas coortes para diagnosticar Colite Ulcerativa (CU) vs. Doença de Crohn (DC), testando a utilidade biomédica e o alinhamento com redes de associação estatística.

Resultados Experimentais

• Molweni (Recuperação de Estrutura): O iLoRA alcançou um score F1 state-of-the-art de 74,51% e Correspondência Exata de 60,57%, superando o ajuste fino padrão (MLE/MAP) e baselines conscientes de incerteza como Deep Ensembles e BLOB. Crucialmente, reduziu a taxa de erro do grafo de 50,0% (baseline aleatória) para 26,7%, demonstrando recuperação eficaz de dependências de discurso.
• Diagnóstico de EII: O iLoRA alcançou o maior AUROC (0,7990) e AUPRC (0,7617) entre todas as baselines, incluindo MLE, MAP, MCD, ENS, BLOB e Laplace LoRA. Também demonstrou calibração superior com um Erro de Calibração Esperado (ECE) de 0,0980, significativamente menor que o MLE (0,2533).
• Validade do Grafo: Os grafos de interação inferidos mostraram enriquecimento significativo para pares de táxons estatisticamente significativos ao nível da coorte (taxa de erro 27,3% vs. 50,0% aleatória). A análise qualitativa revelou que arestas de alto peso alinhavam-se com marcadores biológicos conhecidos (por exemplo, enriquecimento de E. coli na DC) e capturaram reconfigurações específicas da amostra não detectadas por estatísticas marginais globais.
• Eficiência: Embora o iLoRA introduza latência de inferência moderada em comparação com a LoRA estática devido à inferência de grafo, permanece substancialmente mais rápido que os Deep Ensembles, que exigem múltiplas passagens do modelo.

Significado e Alegações
O artigo alega que o iLoRA preenche a lacuna entre diagnóstico confiável e estrutura em nível de ecossistema tornando a adaptação eficiente em parâmetros "consciente de estrutura". Ao inferir um grafo de interação latente que condiciona diretamente a adaptação do LLM, o modelo aproveita a comunicação cruzada microbe-microbe como um sinal preditivo em vez de uma explicação a posteriori. Os autores afirmam que essa abordagem produz melhor precisão preditiva, calibração aprimorada e estruturas de interação interpretáveis que se alinham com evidências biológicas externas, abordando as limitações de tratar táxons como covariáveis independentes ou depender de inferência de rede frágil a posteriori. O trabalho posiciona-se como um passo em direção ao raciocínio bayesiano mecanicista na medicina de precisão baseada em microbioma.