Resumen Técnico: PermDoRA - Comprensión de la Interferencia de Adaptadores en Modelos de Lenguaje

Declaración del Problema

El despliegue de Modelos de Lenguaje Extensos (LLMs) en entornos empresariales y científicos a menudo requiere un control de acceso modular, donde los usuarios están autorizados para acceder a subconjuntos específicos de conocimiento de dominio sin necesidad de reentrenar el modelo completo. Mientras que los enfoques existentes gestionan el control de acceso a nivel de prompt, enrutamiento o recuperación, carecen de modularidad al nivel de las representaciones aprendidas.

Un desafío central en el control de acceso a nivel de parámetros es la interferencia de adaptadores: cuando múltiples adaptadores de dominio específico se componen en el momento de la inferencia, el rendimiento suele degradarse. Una hipótesis prevalente sugiere que esta interferencia proviene de la superposición en las actualizaciones lineales de los parámetros. En consecuencia, se hipotetiza que imponer ortogonalidad o independencia direccional en el espacio de parámetros (mediante una fusión consciente de la geometría) debería mitigar esta interferencia y mejorar el rendimiento multidominio en comparación con el promedio euclidiano estándar.

Metodología: DoRA-RBAC

Los autores proponen DoRA-RBAC, un marco de composición de adaptadores jerárquico diseñado para probar la hipótesis de la interferencia geométrica.

1. Arquitectura del Marco

• Modelo Base: Un backbone preentrenado (LLaMA-3.1-8B o Mistral-7B) permanece congelado.
• Línea Base Compartida: Se entrena y congela un adaptador de línea base compartido.
• Adaptadores de Gestión (Manager Adapters): Para cada dominio $d$, un adaptador de gestión almacena una actualización incremental respecto a la línea base.
• Descomposición DoRA: A diferencia de LoRA estándar ($\Delta W = BA$), DoRA descompone las actualizaciones en un vector de dirección unitaria $\hat{v}_i$ y un escalar de magnitud $m_i$:
  $$\Delta W_{DoRA}^i = m_i \cdot \hat{v}_i$$
  donde $\hat{v}_i = \frac{\Delta W_i}{\|\Delta W_i\|_F}$.
• Composición: En la inferencia, los dominios autorizados de un usuario se componen en un único adaptador aplanado.

2. Estrategias de Composición

El estudio compara dos estrategias de fusión para los dominios autorizados $D$:

1. Composición Euclidiana: Las actualizaciones de peso efectivas se promedian en el espacio euclidiano, seguidas de una Descomposición en Valores Singulares (SVD) truncada para refactorizar el resultado en un adaptador de bajo rango.
   $$\Delta W_D^{Euc} = \text{SVD}_r \left( \frac{1}{|D|} \sum_{i \in D} \Delta W_i \right)$$
2. Composición Riemanniana (Consciente de la Geometría): Aprovechando la separación de dirección y magnitud de DoRA, este método trata las direcciones normalizadas como puntos en una hiperesfera unitaria. Calcula la media de Fréchet mediante el promedio direccional normalizado y agrega las magnitudes por separado:
   $$\hat{v}_D^{Riem} = \frac{\sum_{i \in D} \hat{v}_i}{\|\sum_{i \in D} \hat{v}_i\|}, \quad m_D^{Riem} = \sum_{i \in D} m_i$$
   El peso final se reconstruye mediante SVD.

3. Métricas de Evaluación

• Utilidad: Medida a través del Índice de Brecha de Utilidad (UGI), la ganancia de precisión de un gestor de dominio específico sobre la línea base.
• Interferencia/Seguridad: Medida a través del Índice de Distinguibilidad de Dominio (DDI), una puntuación AUC que cuantifica qué tan bien se puede distinguir un modelo como "dentro del dominio" vs. "fuera del dominio" utilizando ataques de inferencia de membresía (por ejemplo, Min-K++).
• Diagnóstico Geométrico: Similitud de coseno entre las actualizaciones de los adaptadores y pérdidas de ortogonalidad simétrica.

Resultados Clave

1. Rendimiento de Dominio Único

En tareas de dominio único a través de GPQA, PubMedQA, SimpleQA y WMDP, DoRA-RBAC tiene un rendimiento comparable al de LoRA estándar. No hay una diferencia significativa de rendimiento entre los dos métodos en entornos de dominio único, lo que confirma que la descomposición modular no degrada inherentemente la utilidad.

2. Composición Multidominio (El Hallazgo Principal)

El principal hallazgo empírico es que la fusión consciente de la geometría no proporciona una ventaja consistente sobre el promedio euclidiano estándar en entornos multidominio.

• Rendimiento: En SimpleQA (combinaciones de 2 y 3 dominios), la fusión euclidiana y la riemanniana produjeron puntuaciones de precisión virtualmente idénticas (por ejemplo, Llama 2-dominio: 0.00532 para ambos; Mistral 2-dominio: ~0.0123 para ambos).
• Interferencia: La hipótesis de que imponer la ortogonalidad reduce la interferencia no fue respaldada. La "ganancia" de la fusión se atribuye a las propiedades de la modularidad en sí misma, más que a la estructura geométrica de la composición.

3. Diagnóstico Geométrico

• Alineación Angular: El estudio encontró que la similitud de coseno entre las actualizaciones de los adaptadores predice cuándo la fusión consciente de la geometría colapsa hacia el comportamiento euclidiano. A medida que las actualizaciones se vuelven más colineales (alta similitud de coseno), la brecha de rendimiento entre las dos estrategias de fusión se reduce a cero.
• Limitación de la Geometría: Sin embargo, la alineación angular es un predictor débil del rendimiento general de la composición. Incluso cuando los adaptadores son ortogonales, la interferencia persiste. Esto sugiere que la interferencia no está gobernada principalmente por la geometría del espacio de parámetros lineales.

4. Seguridad y Privacidad

• Utilidad vs. Privacidad: Si bien los gestores de dominio específico mejoran la utilidad del dominio objetivo (promedio de UGI +0.1178 en SimpleQA), no proporcionan garantías de privacidad sólidas.
• Resultos de DDI: La puntuación AUC del Índice de Distinguibilidad de Dominio (DDI) se mantuvo alrededor de 0.65, significativamente por encima del azar (0.5). Esto indica que la composición modular no aísla completamente los comportamientos de dominio; los modelos retienen "huellas dactilares conductuales" distinguibles de sus dominios constituyentes.

Conclusiones y Significado

El artículo concluye que la interferencia de adaptadores no es impulsada primordialmente por el solapamiento lineal en el espacio de parámetros, sino por interacciones en las representaciones no lineales compartidas y las activaciones descendentes.

• Refutación de la Hipótesis Geométrica: La suposición de que imponer la ortogonalidad o utilizar la fusión de Riemann resolvería la interferencia es incorrecta. Cuando las direcciones de actualización de los adaptadores son casi colineales (como se observa en la práctica), la fusión consciente de la geometría se reduce efectivamente al promedio aritmético ordinario, ofreciendo ninguna ventaja.
• Implicaciones para el Control de Acceso: DoRA-RBAC debe verse mejor como un marco de composición modular y de servicio en lugar de un mecanismo de aislamiento estricto. Si bien permite la inferencia multidominio eficiente, no garantiza la privacidad. Las defensas de privacidad formales (por ejemplo, el entrenamiento con privacidad diferencial) siguen siendo necesarias para despliegues de alta seguridad.
• Dirección Futura: Los autores sugieren que el trabajo futuro debería centrarse en objetivos a nivel de representación o restricciones en el espacio de activación en lugar de la geometría del espacio de parámetros para lograr una composición confiable.

El estudio sirve como una nota de advertencia contra la dependencia excesiva de las propiedades geométricas del espacio de parámetros para resolver el complejo problema de la interferencia de adaptadores en los modelos de lenguaje extensos.