Disentangling Intrinsic Importance from Emergent Structure in Multi-Expert Orchestration

기술 요약: 다중 전문가 오케스트레이션에서 내재적 중요성과 창발적 구조의 분리

문제 정의
오케스트레이터가 복잡한 과업을 해결하기 위해 여러 LLM(대규모 언어 모델)과 협력하는 다중 전문가 시스템은 고성능 추론을 위해 점점 더 많이 채택되고 있다. 그러나 전문가 간의 상호작용, 시퀀싱 및 선택을 규정하는 오케스트레이션 정책은 여전히 불투명한 경우가 많다. 현재의 프레임워크는 라우팅을 성능 최적화를 위한 블랙박스로 취급하며, 관계적 중요성(전문가가 얼마나 자주 선택되거나 허브 역할을 하는지)과 내재적 중요성(전문가의 내부 표현이 갖는 기능적 필수성)을 구분할 수 있는 도구가 부족하다. 이러한 불투ability는 브리틀(brittle)한 라우팅, 중복성, 또는 빈번하게 선택되지만 기능적으로는 미미한 전문가에 대한 의존도와 같은 실패 모드를 진단하는 것을 어렵게 만든다.

방법론: INFORM 프레임워크
저자들은 오케스트레이션을 명시적이고 분석 가능한 계산으로 취급하는 해석 가능성 분석 프레임워크인 INFORM를 소개한다. INFORM는 협업 프로토콜을 수정하지 않고, 학습된 오케스트레이터($O_\theta$)를 조사하여 세 가지 핵심 차원인 상호작용 구조, 실행 순서, 기능적 귀속을 분리한다.

이 프레임워크는 동결된 지시 미세 조정(instruction-tuned) 전문가들($E = \{E_1, \dots, E_N\}$)로 구성된 정준(canonical) 오케스트레이터를 대상으로 작동한다. 오케스트레이터는 두 가지 주요 모듈을 사용한다:

1. 상호작용 모듈(Interaction Module): 전문가 간의 적합성을 모델링하기 위해 쿼리-키 어텐션(query-key attention)과 의미론적 사전 확률(semantic prior)을 사용하여 조건부 전이 행렬 $C(x)$를 계산한다.
2. 선택 모듈(Selection Module): 미분 가능한 샘플링을 가능하게 하는 Gumbel-Softmax 트릭을 사용하여 한계 선택 분포 $s(x)$를 결정한다.

INFORM는 세 가지 특정 프로브(probe)를 통해 통찰력을 추출한다:

• 상호작용 구조 프로빙: 전이 행렬 $C(x)$의 엔트로피와 랭크를 분석하여, 전문가로 유입되는 총 라우팅 질량(mass)으로 측정되는 관계적 중요성($u_j$)을 정의한다. 이는 상호작용 허브를 식별한다.
• 시퀀싱 결정 프로빙: 초기 선택 분포 $s(x)$의 엔트로피를 분석하여 오케스트레이터가 전문가의 순서를 어떻게 학습하는지 이해하고, 글로벌 역량과 문맥 특화적 필요성을 구분한다.
• 그래디언트 민감도를 통한 기능적 귀속: 전문가 표현에 선택 결정을 역전파함으로써 내재적 중요성($I(E_i)$)을 계산한다. 구체적으로, 선택된 전문가의 로그 확률에 대한 전문가의 인코딩된 표현에 대한 그래디언트 노름($\|\nabla_{h_i} \log P(E_i | x)\|^2$)을 계산한다. 이는 라우팅 결정이 의미론적 콘텐츠에 얼마나 민감한지를 측정하여, 콘텐츠 의존적 선택과 휴리스틱 선택을 구분한다.

실험 설정
저자들은 행동적 다양성을 유도하기 위해 제어된 디코딩 온도 변화를 적용한 10개의 지시 미세 조정 전문가(LLaMA-3.1 8B, Qwen3 8B, DeepSeek-R1 8B 기반)로 구성된 **동질적 컨소시엄(homogeneous consortium)**에서 INFORM를 평가했다. 일반화 가능성을 테스트하기 위해 1B–7B 파라미터에 걸친 이차적인 **이질적 컨소시엄(heterogeneous consortium)**도 사용되었다. 실험은 GSM8K, HumanEval, MMLU에서 수행되었다. 오케스트레이터는 작업 성능을 극대화하고 (추론 시에는 부재하는) 더 큰 오라클(oracle) LLM과 정렬되도록 훈련되었다.

주요 결과 및 발견

1. 관계적 중요성과 내재적 중요성의 괴리: 연구는 라우팅 빈도와 기능적 필요성 사이의 상당한 불일치를 드러냈다. 자주 선택되는 전문가는 제한적인 내재적 영향력을 가진 "상호작용 허브" 역할을 하는 경우가 많은 반면, 드물게 라우팅되는 전문가가 구조적으로 결정적일 수 있다. 예를 들어, 가장 내재적으로 중요한 전문가를 마스킹했을 때(그래디언트 귀속을 통해), 빈번하게 선택되는 동료들을 마스킹했을 때보다 MMLU에서 5.5배 더 높은 라우팅 KL 발산이 발생했다. 이는 라우팅 질량이 구조적 의존성을 나타내는 좋은 대리 지표가 아님을 확인시켜 준다.
2. 오케스트레이션 동작의 비동기적 창발: 오케스트레이션 역학은 비동기적으로 창발한다. 시스템은 "누구를 신뢰할 것인가"(라우팅 질량의 중앙 집중화)를 먼저 확립한 후, "얼마나 확신을 가지고 라우팅할 것인가"(라우팅 엔트로피의 안정화)를 결정한다. 또한, 전문가 순서는 구조화되어 있지만 비결정론적이며, 오케스트레이터는 엄격한 시퀀스보다는 소프트 제약 조건을 학습한다.
3. 태스크 의존적 민감도: 프롬프트 섭동(perturbation) 연구는 오케스트레이터의 민감도가 태스크별로 다름을 보여준다. GSM8K에서는 수치 토큰 제거에 매우 민감하며, HumanEval 및 MMLU에서는 문장 셔플링 및 추론 단서 제거에 더 민감하다.
4. 동질적 vs 이질적 역학: 동질적 설정에서는 라우팅이 빠르게 확신 있고 중앙 집중화된 패턴으로 수렴한다. 이질적 설정(1B–7B 모델)에서는 라우팅이 더 휘발적이고 덜 중앙 집중화되며, 그래디언트 귀속이 더 넓고 다양한 모델 집합에 퍼져 있지만, 빈번하게 선택된 모델이 반드시 가장 높은 그래디언트 영향력을 갖지는 않는 지속적인 정렬 격차가 존재한다.
5. 아블레이션 및 베이스라인 비교:
   • 아블레이션: 관계적 구조나 내재적 점수를 제거하면 특히 MMLU와 같은 이질적 태스크에서 성능이 저하된다. 전체 INFORM 설정은 구조적 안정성과 의미론적 정밀함 사이의 균형을 맞춘다.
   • 베이스라인: 엄격한 역할 기반의 MetaGPT 프레임워크와 비교했을 때, INFORM은 불필요한 전문가 호출을 적응적으로 제거함으로써 HumanEval에서 ~1.4%의 성능 향상과 함께 ~3.5배의 속도 향상을 달enc한다.

의의 및 주장
본 논문은 INFORM가 정확도 지표만으로는 보이지 않는 다중 전문가 시스템의 구조적 의존성과 상호작용 허브를 진단하는 실용적인 도구를 제공한다고 주장한다. 이 프레임워크는 내재적 중요성과 창발적 라우팅 구조를 분리함으로써 다음을 노출한다:

• 중복성(Redundancy): 빈번하게 라우팅되지만 기능적으로는 불필요한 전문가.
• 취약성(Brittleness): 특정 상호작용 토폴로지에 의존하며, 핵심적인 내재적 전문가가 마스킹될 때 붕괴하는 시스템.
• 효율성(Efficiency): 과업 해결을 위한 최소한의 기능적 궤적을 식별하여, 엄격한 프로토콜에 비해 계산 오버헤드를 줄이는 능력.

저자들은 이 접근 방식이 공식적인 인과 그래프를 구축하기보다는 **국소적 계산 민감도(local computational sensitivity)**를 포착한다는 점을 강조한다. 결과적으로, 이 프레임워크는 오케스트레이터의 내부 표현과 그래디언트에 대한 화이트박스 접근을 필요로 하지만, 구성되는 전문가들은 블랙박스로 유지될 수 있다. 이 연구는 성능 지표만으로 포착할 수 있는 것 이상의 신뢰성, 효율성 및 안전성을 개선하기 위해 학습된 오케스트레이션 정책에 대한 해석 가능성 기반의 분석이 필수적임을 입증한다.