기술 요약: 구성적 어댑터를 통한 컨텍스트 파라미터화 (COMPAS)

1. 문제 정의

대규모 언어 모델(LLM)은 일반적으로 인컨텍스트 러닝(ICL) 또는 지도 미세 조정(SFT)을 통해 새로운 태스크에 적응합니다. 그러나 두 방식 모두 다수의 데몬스트레이션(demonstrations)이나 검색된 패시지(passages)로 확장할 때 다음과 같은 중대한 한계에 직면합니다:

• ICL의 비효fer성: 컨텍스트 토큰(지시문, 데몬스트레이션, 증거 등)의 수가 증가함에 따라, ICL은 선형적으로 증가하는 추론 비용으로 인해 계산적으로 매우 비효율적이 됩니다. 또한, 긴 컨텍스트는 어텐션 메커니즘을 불안정하게 만들어 성능 저하(이른바 "lost in the middle" 현상)를 초래합니다.
• SFT의 경직성: SFT는 각 특정 태스크나 컨텍스트마다 별도의 모델이나 어댑터를 학습시켜야 하므로, 높은 학습 오버헤드가 발생하며 재학습 없이 새로운 정보를 동적으로 통합하는 유연성이 부족합니다.
• 컨텍스트 윈도우 제한: 입력이 모델의 컨텍스트 윈도우를 초과할 경우, ICL이나 표준 SFT 모두 전체 정보를 효과적으로 활용할 수 없습니다.

기존 연구들이 단일 컨텍스트로부터 어댑터를 생성하는 방법을 탐구해 왔으나, 다중 정보 청크(chunks)를 통합해야 할 필요성은 간과해 왔습니다. 기존 방식들은 여러 소스의 정보를 결합하는 방식을 포착하지 못하며, 연결된 컨텍스트를 표현하기 위해 어댑터를 대수적으로 합성(compose)하는 원칙적인 메커니즘이 결여되어 있습니다.

2. 방법론: COMPAS

저자들은 컨텍스트를 대수적으로 병합 가능한 구성적 구조를 가진 어댑터 파라미터로 변환하는 메타 러닝 프레임워크인 COMPAS(Compositional Adapters)를 소개합니다.

2.1. 이론적 기초

이 프레임워크는 개별 컨텍스트로부터 생성된 어댑터가 파라미터 공간에서 합성되어 입력 공간에서의 컨텍스트 연결 효과를 복제할 수 있도록 하는 것을 목표로 하는 교사-학생(teacher-student) 설정 위에 구축되었습니다.

• 교사 모델 ($f_T$): 연결된 입력 $[c_1; \dots; c_k; q]$를 처리합니다.
• 학생 모델 ($f_S$): 베이스 파라미터 $\theta$가 어댑터의 합 $\theta \oplus \sum \phi_i$에 의해 수정된 상태로 쿼리 $q$만을 처리합니다.
• 생성기 (Generator, $G$): 컨텍스트 $c$를 어댑터 파라미터 $\phi = G(c)$로 매핑하는 네트워크입니다.

핵심 요구 사항은 생성기가 컨텍스트의 자유 모노이드(free monoid, 연결)에서 어댑터 파라미터의 가법 모노이드(additive monoid, 덧셈)로의 단사 준동형 사상(monoid homomorphism) 역할을 하는 것입니다. 이상적으로는 $G([c_1; c_2]) = G(c_1) + G(c_2)$가 성립해야 합니다. 본 논문은 학생의 출력(어댑터의 합)과 교사의 출력(연결된 컨텍스트) 사이의 오차가 생성기의 가법성 오차(additivity error) 및 학생-교사 불일치(student-teacher misfit)에 의해 결정되며, 이는 학생의 립시츠 상수(Lipschitz constant)에 의해 스케일링된다는 구성성 경계(Compositionality Bound)(정리 2.1)를 입증합니다.

2.2. 아키텍처

• 생성기 (Generator): 베이스 LM에 학습 가능한 구성 요소들을 추가합니다. 이는 LM에 삽착된 LoRA 어댑터와 선형 병목(linear bottleneck) 및 투영 트렁크(projection trunks)로 구성됩니다. 컨텍스트 $c$를 처리하여 풀링된 은닉 표현(pooled hidden representation)을 생성하고, 이를 $z(c)$라는 압축된 잠재 공간으로 투영합니다. 이 잠재 벡터는 선형 투영을 통해 학생 모델의 모든 타겟 모듈에 대한 LoRA 행렬($A$와 $B$)을 생성하는 데 매핑됩니다.
• 학생 (Student): LoRA 어댑터가 적용된 표준 LLM입니다. 추론 시, 관련 컨텍스트들에 대해 생성된 어댑터들의 합과 함께 쿼리만을 전달받습니다.

2.3. 학습 목표

학습 손실($L_{COMPAS}$)은 구성성과 충실성(faithfulness)을 강제하기 위해 설계된 세 가지 구성 요소의 가중치 합으로 이루어집니다:

1. 학생-교사 정렬 ($L_{ST}$): 학생의 분포(합산된 어댑터 사용)와 교사의 분포(연결된 컨텍스트 사용) 사이의 KL 발산을 최소화합니다. 이는 구성적 일관성을 강제하기 위해 단일 컨텍스트($k=1$)와 연결된 컨텍스트($k=2$) 모두에 적용됩니다.
2. 가법성 규제 ($L_{ADD}$): 연결된 컨텍스트에 대해 생성된 어댑터 $G([c_1; c_2])$와 개별 어댑터의 합 $G(c_1) + G(c_2)$ 사이의 차이에 대해 페널티를 부여합니다. 이는 생성기의 가법성 오차 $\eta$를 직접적으로 최소화합니다.
3. 재구성 ($L_{RECON}$): 학생이 특수 [RECON] 토큰을 사용하여 어댑터 상태로부터 원래의 컨텍스트 토큰을 자기회귀적으로 재구성하도록 하는 보조 목표입니다. 이는 어댑터가 입력 정보를 충실하게 인코딩하도록 보장하며 자명한 해(trivial solutions)를 방지합니다.

3. 주요 기여

1. COMPAS 프레임워크: 컨텍스트를 구성적 어댑터로 인코딩하여 파라미터 공간에서의 대수적 결합을 가능하게 하는 교사-학생 메타 러닝 프레임워크를 제안합니다.
2. 이론적 보장: 파라미터 공간의 덧셈이 컨텍스트 연결의 동작을 증명 가능하게 근사할 수 있는 이론적 조건(정리 2.1)을 확립하고, 오차를 해석 가능한 원인들로 분해했습니다.
3. 실증적 검증: 다수의 데몬스트레이션이나 검색된 패시지를 사용하는 상황에서 COMPAS가 표준 ICL, 미세 조정(fine-tuning) 및 기존 생성 기반 방법(GenAda 등)보다 우수함을 입증했습니다.

4. 실험 결과

저자들은 LLaMA-3.1 (8B), LLaMA-3.2 (3B), Qwen-2.5 (7B)를 사용하여 다지선다형(MMLU, ARC-Challenge) 및 추출형 질의응답(HotpotQA) 태스크에서 COMPAS를 평가했습니다.

• ICL 대비 성능: COMPAS는 모든 모델과 shot 수에 대해 표준 ICL보다 일관되게 우수한 성능을 보였습니다. 특히 컨텍스트 길이로 인해 ICL 성능이 저하되는 높은 shot 수(예: 12~16개 데몬스트레이션)에서 성능 향상이 가장 두드러졌습니다.
• SFT 및 생성 모델과의 비교: COMPAS는 단일 생성기의 효율성을 유지하면서도, 특정 컨텍스트당 특정 어댑터를 미세 조정하는 WILDA의 성능과 대등하거나 이를 능가했습니다. 또한 명시적인 선형 병목과 가법성 제약이 없는 GenAda보다 훨씬 뛰어난 성능을 보였습니다.
• 스케일링: 16개의 데몬스트레이션 실험에서 COMPAS는 ICL 및 GenAda보다 높은 정확도를 달야했습니다. 예를 들어, LLaMA 8B를 사용한 MMLU에서 COMPAS (4×4 composition)는 72.2%의 정확도에 도달하여 ICL의 64.2%를 상회했습니다.
• 강건성: COMPAS는 ICL에 비해 노이즈가 있거나, 모순되거나, 주제에서 벗어난 컨텍스트에 대해 더 우수한 강건성을 보여주었으며, 이는 컨텍스트를 파라미터로 압축하는 것이 허위 신호(spurious signals)의 영향을 완화함을 시사합니다.
• 효율성: 컨텍스트 길이에 따른 추론 비용을 분리함으로써, COMPAS는 ICL과 비교하여 상당한 속도 향상(16-shot에서 최대 4.1배)과 피크 메모리 사용량 감소를 달성했습니다.
• 재구성: 프레임워크는 높은 재구성 충실도(단일 단위에 대해 토큰 수준 F1 > 85%)를 유지하였으며, 이는 어댑터 파라미터가 원래 컨텍스트의 의미적 내용을 잘 보유하고 있음을 확인시켜 줍니다.

5. 의의 및 주장

본 논문은 COMPAS가 LLM 배포를 확장하기 위한 실질적이고 효율적인 대안으로서 구성 가능한 어댑터 생성을 확립한다고 주장합니다. 이 연구의 의의는 다음과 같습니다:

• 효율성: 긴 프롬프트 토큰을 압축적이고 재사용 가능한 어댑터 파라미터로 대체하여 추론 비용과 메모리 점유율을 줄입니다.
• 안정성: 트랜스포머의 롱 컨텍스트 처리와 관련된 불안정성 및 성능 저하 문제를 완화합니다.
• 확장성: 독립적으로 생성되고 합성되는 어댑터를 통해 모델의 컨텍스트 윈도우를 초과하는 입력을 처리할 수 있는 원칙적인 솔루션을 제공합니다.
• 안전성 및 해석 가능성: 어댑터로의 정보의 가역적 인코딩은 원래의 입력 컨텍스트를 복구할 수 있게 하여, 안전성 검토 및 감사(auditing)에 용이합니다.

저자들은 이 작업을 전통적인 프롬프팅의 계산적 페널티나 태스크별 미세 조정의 경직성 없이, 외부 증거와 다수의 데몬스트레이션을 통합하기 위한 확장 가능한 메커니즘으로 포지셔닝합니다.