기술 요약: PermDoRA - 언어 모델에서의 어댑터 간섭 이해

문제 정의

기업 및 과학적 환경에서 대규모 언어 모델(LLM)을 배포할 때는 전체 모델을 재학습하지 않고도 사용자가 특정 도메인 지식의 하위 집합에 접근할 수 있도록 하는 모듈형 액세스 제어가 필요합니다. 기존 방식들은 프롬프트, 라우팅 또는 검색 수준에서 액세스 제어를 처리하지만, 학습된 표현(learned representations) 수준에서의 모듈성은 결여되어 있습니다.

파라미터 수준의 액세스 제어에서 핵심적인 과제는 **어댑터 간섭(adapter interference)**입니다. 여러 도메인 특화 어댑터가 추론 시점에 결합될 때 성능이 저하되는 현상이 발생합니다. 지배적인 가설은 이러한 간섭이 선형 파라미터 업데이트의 중첩에서 기인한다는 것입니다. 결과적으로, 기하학적 인지 병합(geometry-aware merging)을 통해 파라미터 공간에서의 직교성(orthogonality) 또는 **방향 독립성(directional independence)**을 강제하는 것이 표준 유클리드 평균보다 간섭을 완화하고 다중 도메인 성능을 향상시킬 것이라는 가설이 제기되었습니다.

방법론: DoRA-RBAC

저자들은 기하학적 간섭 가설을 테스트하기 위해 설계된 계층적 어댑터 구성 프레임워크인 DoRA-RBAC를 제안합니다.

1. 프레임워크 아키텍처

• 베이스 모델(Base Model): 사전 훈련된 백본(LLaMA-3.1-8B 또는 Mistral-7B)은 동결(frozen)됩니다.
• 공유 베이스라인(Shared Baseline): 공유 베이스라인 어댑터가 학습되고 동결됩니다.
• 매니저 어댑터(Manager Adapters): 각 도메인 $d$에 대해, 매니저 어댑터는 베이스라인에 대한 증분 업데이트를 저장합니다.
• DoRA 분해: 표준 LoRA($\Delta W = BA$)와 달리, DoRA는 업데이트를 단위 방향 벡터 $\hat{v}_i$와 스칼라 크기 $m_i$로 분해합니다:
  $$\Delta W_{DoRA}^i = m_i \cdot \hat{v}_i$$
  여기서 $\hat{v}_i = \frac{\Delta W_i}{\|\Delta W_i\|_F}$ 입니다.
• 구성(Composition): 추론 시, 사용자의 권한이 있는 도메인들이 하나의 플래튼(flattened)된 어댑터로 구성됩니다.

2. 구성 전략

연구는 권한이 있는 도메인 $D$에 대해 두 가지 병합 전략을 비교합니다:

1. 유클리드 구성(Euclidean Composition): 유클리드 공간에서 유효한 가중치 업데이트를 평균낸 후, 결과를 저계수(low-rank) 어댑터로 재구조화하기 위해 절단된 특이값 분해(truncated SVD)를 수행합니다.
   $$\Delta W_D^{Euc} = \text{SVD}_r \left( \frac{1}{|D|} \sum_{i \in D} \Delta W_i \right)$$
2. 리만 구성(Riemannian (Geometry-Aware) Composition): 방향과 크기를 분리하는 DoRA를 활용하여, 이 방법은 정규화된 방향들을 단위 초구(unit hypersphere) 상의 점으로 취급합니다. 이는 정규화된 방향 평균을 통해 프레셰 평균(Fréchet mean)을 계산하고 크기는 별도로 집계합니다:
   $$\hat{v}_D^{Riem} = \frac{\sum_{i \in D} \hat{v}_i}{\|\sum_{i \in D} \hat{v}_i\|}, \quad m_D^{Riem} = \sum_{i \in D} m_i$$
   최종 가중치는 SVD를 통해 재구성됩니다.

3. 평가 지표

• 유용성(Utility): 베이스라인 대비 도메인 특화 매니저의 정확도 이득인 **유용성 갭 지수(Utility Gap Index, UGI)**를 통해 측정됩니다.
• 간섭/보안(Interference/Security): 멤버십 추론 공격(예: Min-K++)을 사용하여 모델이 "인도메인(in-domain)"인지 "아웃도메인(out-of-domain)"인지 얼마나 잘 구별할 수 있는지를 나타내는 AUC 점수인 **도메인 구별 지수(Domain Distinguishability Index, DDI)**를 통해 측정됩니다.
• 기하학적 진단(Geometric Diagnostics): 어댑터 업데이트 간의 코사인 유사도 및 대칭적 직교성 손실을 측정합니다.

주요 결과

1. 단일 도메인 성능

GPQA, PubMedQA, SimpleQA, WMDT의 단일 도메인 작업에서 DoRA-RBAC는 표준 LoRA와 유사한 성능을 보입니다. 두 방법 사이의 유의미한 성능 차이는 단일 도메인 설정에서 나타나지 않았으며, 이는 모듈형 분해가 본질적으로 유용성을 저하시키지 않음을 확인시켜 줍니다.

2. 다중 도메인 구성 (핵심 발견)

주요 실증적 발견은 기하학적 인지 병합이 다중 도메인 설정에서 표준 유클리드 평균보다 일관된 이점을 제공하지 않는다는 것입니다.

• 성능: SimpleQA(2-도메인 및 3-도메인 조합)에서 유클리드 병합과 리만 병합은 거의 동일한 정확도 점수를 생성했습니다 (예: Llama 2-도메인: 둘 다 0.00532; Mistral 2-도메인: 둘 다 약 0.0123).
• 간섭: 직교성을 강제하는 것이 간섭을 줄인다는 가설은 지지되지 않았습니다. 병합을 통한 "이득"은 기하학적 구조보다는 모듈성 자체의 특성에 기인합니다.

3. 기하학적 진단

• 각도 정렬(Angular Alignment): 연구는 어댑터 업데이트 간의 코사인 유사도가 언제 기하학적 인지 병합이 유클리드 동작으로 수렴하는지를 예측한다는 것을 발견했습니다. 업데이트가 더 공선적(collinear)이 될수록(높은 코사인 유사도), 두 병합 전략 간의 성능 격차는 제로로 줄어듭니다.
• 기하학의 한계: 그러나 각도 정렬은 전반적인 구성 성능의 약한 예측 변수입니다. 어댑터들이 직교할 때조차 간섭은 지속됩니다. 이는 간섭이 주로 선형 파라미터 공간의 기하학에 의해 지배되지 않음을 시사합니다.

4. 보안 및 프라이버시

• 유용성 vs 프라이버시: 도메인 특화 매니저가 타겟 도메인의 유용성을 개선하지만(SimpleQA에서 평균 UGI +0.1178), 강력한 프라이버시 보장을 제공하지는 않습니다.
• DDI 결과: 도메인 구별 지수(DDI) AUC는 약 0.65로 유지되었으며, 이는 우연(0.5)보다 유의미하게 높습니다. 이는 모듈형 구성이 도메인 행동을 완전히 격리하지 못함을 나타냅니다. 즉, 모델은 구성 요소인 도메인들의 구별 가능한 "행동 지문(behavioral fingerprints)"을 유지합니다.

결론 및 의의

본 논문은 어댑터 간섭이 주로 선형 파라미터 공간의 중첩에 의해 발생하는 것이 아니라, 공유된 비선형 표현 및 다운스트림 활성화(activations) 간의 상호작용에 의해 발생한다고 결론짓습니다.

• 기하학적 가설의 반박: 직교성을 강제하거나 리만 병합을 사용하는 것이 간섭을 해결할 것이라는 가정은 틀렸습니다. 어댑터 업데이트 방향이 거의 공선적일 때(실제 관찰된 바와 같이), 기하학적 인지 병합은 일반적인 산술 평균으로 실질적으로 축소되며 아무런 이점을 제공하지 않습니다.
• 액세스 제어에 대한 시사점: DoRA-RBAC는 엄격한 격리 메커니즘이라기보다 모듈형 구성 및 서빙 프레임워크로 보는 것이 적절합니다. 이는 효율적인 다중 도메인 추론을 가능하게 하지만, 프라이버시를 보장하지는 않습니다. 고신뢰성 배포를 위해서는 차분 프라이버시(differentially private training)와 같은 공식적인 프라이버시 방어 기법이 여전히 필요합니다.
• 향후 방향: 저자들은 신뢰할 수 있는 구성성을 달달성하기 위해 파라미터 공간의 기하학보다는 표현 수준의 목적 함수(representation-level objectives) 또는 **활성화 공간 제약(activation-space constraints)**에 집중해야 한다고 제안합니다.

이 연구는 대규모 언어 모델에서 어댑터 간섭 문제를 해결하기 위해 파라미터 공간의 기하학적 특성에 과도하게 의존하는 것에 대한 경고를 담고 있습니다.