iLoRA: Bayesian Low-Rank Adaptation with Latent Interaction Graphs for Microbiome Diagnosis

Resumen Técnico: iLoRA

Enunciado del Problema
La adaptación eficiente en parámetros, particularmente la Adaptación de Bajo Rango (LoRA), ha permitido aplicar Modelos de Lenguaje de Gran Escala (LLM) a tareas específicas de dominio con datos y capacidad de cómputo limitados. Sin embargo, LoRA estándar depende de actualizaciones de bajo rango estáticas y globales que tratan las características de entrada como condicionalmente independientes. Este enfoque falla en capturar estructuras de interacción latentes que a menudo son críticas para el diagnóstico científico, como la interacción entre taxones microbianos en el microbioma intestinal. Además, las aplicaciones clínicas requieren no solo precisión predictiva, sino también incertidumbre calibrada y robustez. Las pipelines existentes a menudo separan la predicción del análisis de interacción (post-hoc), o dependen de la inferencia de redes basada en correlaciones que es frágil ante la naturaleza composicional y dispersa de los datos del microbioma.

Metodología
Los autores proponen iLoRA, el primer marco LoRA condicionado a grafos bayesianos. A diferencia de LoRA estándar, que aprende una única matriz de actualización compartida entre todas las muestras, iLoRA infiere un grafo de interacción latente a partir de cada muestra de entrada y utiliza este grafo para generar actualizaciones LoRA específicas de la muestra. El marco opera mediante una pipeline de dos ramas:

1. Procesamiento de Entrada y Selección de Taxones: Dado un perfil de abundancia del microbioma $X \in \mathbb{R}^M$, una función de selección $S(\cdot)$ identifica $K < M$ taxones clave.
2. Inferencia de Grafo Latente (Rama Bayesiana):
   • Grafo de Poisson: El modelo infiere primero un grafo de interacción latente donde los pesos de las aristas $\tilde{\alpha}_{ij}$ se modelan como variables aleatorias no negativas que siguen una distribución de Poisson, $\tilde{\alpha}_{ij} \sim \text{Pois}(m_{ij})$. Esto captura fuerzas de co-ocurrencia inciertas. Para permitir un entrenamiento diferenciable, los autores emplean un proxy gaussiano para la distribución de Poisson y derivan un teorema de ajuste de tasas en forma cerrada para minimizar la divergencia KL entre el Gaussiano variacional y el Poisson objetivo.
   • Grafo Laplaciano Disperso: Para imponer dispersión (reflejando que la mayoría de los pares de taxones no interactúan), las variables de arista de Poisson se transforman en variables de arista distribuidas Laplace, $\bar{\alpha}_{ij} \sim \text{Laplace}(0, b_{ij})$. Esta transformación utiliza Redes de Parámetros Naturales (NPNs) para mapear la incertidumbre de Poisson a un parámetro de escala Laplace sin muestreo discreto.
   • Incrustación (Embedding): El grafo disperso resultante $\hat{A}$ se incrusta utilizando una Red Neuronal de Grafos (GNN).
3. Adaptación Condicionada al Grafo: La incrustación de la GNN se introduce en una hiperred que genera la matriz de actualización LoRA $A$ para la muestra de entrada específica. La matriz $B$ permanece estática. La columna vertebral del LLM se mantiene congelada.
4. Predicción Bayesiana: La predicción final se obtiene marginalizando sobre la incertidumbre en el grafo inferido utilizando muestreo de Monte Carlo, proporcionando estimaciones de incertidumbre calibradas.

El objetivo de aprendizaje combina la pérdida de la tarea (por ejemplo, entropía cruzada) con términos de regularización KL tanto para el prior de Poisson como para el prior de dispersión Laplaciana.

Contribuciones Clave

• Innovación del Marco: Introducción de iLoRA, un marco LoRA condicionado a grafos bayesianos que aprende conjuntamente la predicción y las estructuras de interacción latente, en lugar de tratarlas como pasos separados post-hoc.
• Mecanismo: El método trata la interacción entre microbios como un mecanismo biológico latente y consciente de la incertidumbre. Utiliza el modelado de aristas de Poisson para la fuerza de interacción y la esparsificación ponderada por Laplace para aprender grafos dispersos e interpretables bajo un único objetivo de extremo a extremo.
• Validación: El marco se valida en dos configuraciones distintas:
  1. QA Interactiva (Molweni): Utilizando grafos de dependencia de discurso anotados por humanos para probar la recuperación de estructura latente.
  2. Diagnóstico de EII: Utilizando datos de microbioma de múltiples cohortes para diagnosticar Colitis Ulcerosa (CU) vs. Enfermedad de Crohn (EC), probando la utilidad biomédica y la alineación con redes de asociación estadística.

Resultados Experimentales

• Molweni (Recuperación de Estructura): iLoRA logró una puntuación F1 de vanguardia del 74,51% y una Coincidencia Exacta del 60,57%, superando al ajuste fino estándar (MLE/MAP) y a líneas base conscientes de la incertidumbre como Deep Ensembles y BLOB. Crucialmente, redujo la tasa de error del grafo del 50,0% (línea base aleatoria) al 26,7%, demostrando una recuperación efectiva de las dependencias del discurso.
• Diagnóstico de EII: iLoRA logró la mayor AUROC (0,7990) y AUPRC (0,7617) entre todas las líneas base, incluyendo MLE, MAP, MCD, ENS, BLOB y Laplace LoRA. También demostró una calibración superior con un Error de Calibración Esperado (ECE) de 0,0980, significativamente menor que MLE (0,2533).
• Validez del Grafo: Los grafos de interacción inferidos mostraron un enriquecimiento significativo para pares de taxones estadísticamente significativos a nivel de cohorte (tasa de error 27,3% vs. 50,0% aleatorio). El análisis cualitativo reveló que las aristas de alto peso se alineaban con marcadores biológicos conocidos (por ejemplo, enriquecimiento de E. coli en EC) y capturaron reconfiguraciones específicas de la muestra no detectadas por estadísticas marginales globales.
• Eficiencia: Aunque iLoRA introduce una latencia de inferencia moderada en comparación con LoRA estático debido a la inferencia de grafos, sigue siendo sustancialmente más rápido que Deep Ensembles, que requieren múltiples pasadas del modelo.

Significado y Afirmaciones
El artículo afirma que iLoRA cierra la brecha entre el diagnóstico fiable y la estructura a nivel de ecosistema al hacer que la adaptación eficiente en parámetros sea "consciente de la estructura". Al inferir un grafo de interacción latente que condiciona directamente la adaptación del LLM, el modelo aprovecha la interacción entre microbios como una señal predictiva en lugar de una explicación post-hoc. Los autores afirstan que este enfoque produce una mejor precisión predictiva, una calibración mejorada y estructuras de interacción interpretables que se alinean con la evidencia biológica externa, abordando las limitaciones de tratar los taxones como covariables independientes o depender de inferencias de redes post-hoc frágiles. El trabajo se posiciona como un paso hacia el razonamiento bayesiano mecánico en la medicina de precisión basada en microbiomas.