기술 요약: 양원제 모델

문제 제기

현재의 다중 모델 및 도구 증강 시스템은 서로 다른 에이전트나 모델 간 조율을 위해 이산적인 텍스트 토큰 생성에 의존합니다. 이 방식은 모든 교환을 출력 어휘를 통해 직렬화하므로 비효율적일 수 있으며 상호작용의 유연성을 제한합니다. 본 논문은 두 개의 고정된 사전 학습 언어 모델 (LLM) 이 대신 중간 은닉 상태를 통해 조율하여, 연속적이고 동시적인 통신 채널을 생성할 수 있는지 질문합니다. 구체적으로, 그러한 메커니즘이 명시적인 통신 형식 없이 오직 작업 손실 (task loss) 만으로부터 학습될 수 있는지 조사합니다.

방법론

저자들은 양원제 모델 (Bicameral Model) 을 제안합니다. 이는 주 모델 ($M_p$) 과 보조 모델 ($M_a$) 이라는 두 개의 고정된 언어 모델을 경량화되고 학습 가능한 신경 인터페이스 ($\phi$) 를 통해 결합하는 아키텍처입니다.

• 아키텍처:

  • 주 모델 ($M_p$): 작업을 조율하고 최종 사용자 대상 응답을 생성합니다.
  • 보조 모델 ($M_a$): 외부 도구 (계산기, Z3 솔버, Python 샌드박스) 에 접근할 수 있는 동시 추론 스트림을 유지합니다.
  • 신경 인터페이스 ($\phi$): 번역 네트워크와 학습된 억제 게이트로 구성된 학습 가능한 구성 요소입니다. 이는 모델들과 동기화되어 매 생성 단계에서 작동합니다.
  • 결합 메커니즘: 각 단계에서 인터페이스는 한 모델의 은닉 상태를 읽어 다른 모델의 표현 공간으로 번역한 후, 교란 (perturbation) 으로 주입합니다. 이는 양방향으로 발생합니다:
    • 순방향 결합 ($M_p \to M_a$): 보조 모델이 주 모델의 진화하는 표현을 관찰합니다.
    • 역방향 결합 ($M_a \to M_p$): 주 모델이 보조 모델의 추론이나 도구 결과를 통합합니다.
  • 억제 게이트: 학습된 게이트 ($\sigma$) 가 결합의 강도를 제어하여, 수신자가 자신의 상태에 기반하여 송신자의 신호를 선택적으로 수용하거나 무시할 수 있게 합니다. 이 게이트는 오직 작업 손실로부터 선택적 통신 프로토콜을 학습합니다.
  • 학습: 두 모델 모두 고정된 상태로 유지됩니다. 인터페이스 파라미터만 두 모델의 출력에 대한 마스킹 교차 엔트로피 손실을 사용한 이중 목표 지도 미세 조정 (SFT) 을 통해 학습됩니다. 시스템은 인터페이스 파라미터에 대한 두 번째 단계의 강화 학습 (RL) 도 지원합니다.

• 3 단계 생성:

  1. 보조 초기화: 보조 모델이 도구 지시 프롬프트를 처리합니다. 결합은 비활성화됩니다.
  2. 입력 처리: 주 모델이 사용자 쿼리를 처리합니다. 공유 표현을 구축하기 위해 완전한 양방향 결합이 활성화됩니다.
  3. 공동 생성: 두 모델이 동기화되어 토큰을 생성합니다. 보조 모델은 도구를 호출할 수 있으며, 결과는 입력 토큰으로 보조 모델 스트림에 강제로 되돌려져 은닉 상태 채널을 통해 주 모델에 영향을 미칩니다.

주요 기여

1. 은닉 상태 조율: 두 개의 고정된 LLM 이 직렬화된 텍스트 대신 중간 은닉 상태를 통해 효과적으로 조율할 수 있음을 입증하여, 연속적이고 동시적인 통신 채널을 가능하게 합니다.
2. 학습된 선택적 프로토콜: 억제 게이트가 명시적인 형식이나 통신 채널에 대한 명시적 감독 없이도 구조화되고 방향성이 특정된 통신 프로토콜 (예: 숫자와 같은 작업 관련 토큰 전달, 도구 결과 역방향 전달) 을 학습할 수 있음을 보여줍니다.
3. 도구 증강 추론: 세 가지 서로 다른 도구 백엔드 (계산기, Z3 제약 솔버, Python 샌드박스) 에서 메커니즘을 검증하여, 보조 모델이 문제 텍스트를 본 적 없이 오직 은닉 상태 신호만으로 문제별 코드나 제약을 생성할 수 있음을 입증합니다.
4. 어댑터 등가 제거 실험: 성능 향상이 인터페이스의 추가 학습 가능 파라미터가 아니라 보조 모델의 추론 및 도구 사용에서 비롯됨을 확인합니다.

실험 결과

저자들은 도구가 상당한 능력 격차를 만드는 세 가지 영역에서 양원제 모델을 평가했습니다.

• 산술 (계산기):

  • 계산기와 결합된 두 개의 0.5B 모델은 산술 정확도를 **36.2%**에서 **96.5%**로 높였습니다.
  • 더 어려운 GSM8K-IRL 벤치마크에서는 정확도가 12.8% 에서 **17.1%**로 향상되었습니다.
  • 보조 모델을 우회한 어댑터 등가 제거 실험은 이러한 향상을 재현하지 못해 보조 모델의 역할을 확인했습니다.

• 논리 그리드 퍼즐 (Z3 솔버):

  • Z3 솔버와 결합된 두 개의 0.6B 모델은 ZebraLogic 벤치마크에서 **64.7%**의 정확도를 달성하여, 증강되지 않은 기준선 (37.5%) 대비 1.7 배 향상을 보였습니다.
  • 시스템은 퍼즐 크기에 대한 견고성을 보였으나, 검색 공간이 커짐에 따라 성능이 감소했습니다 (예: 초대형 퍼즐에서 36.7%).

• 수학적 추론 (Python 샌드박스):

  • Python 샌드박스와 결합된 쌍둥이 4B 모델은 보조 모델이 은닉 상태 신호만으로 정확하고 문제별 코드를 생성할 수 있게 했습니다.
  • MATH 벤치마크에서의 전체 정확도 (62.5%) 는 사고 활성화 기준선 (81.6%) 보다 낮았지만, 시스템은 사고 기준선이 실패한 127 개의 문제를 해결하여 코드 생성을 통해 특정 복잡한 사례를 처리할 수 있음을 보여주었습니다.

중요성과 주장

본 논문은 양원제 모델이 토큰 수준 이하에서 통신하는 다중 모델 시스템에 대한 새로운 설계 공간을 연다고 주장합니다. 주요 시사점은 다음과 같습니다.

• 창발적 프로토콜: 시스템은 명시적인 형식 제약 없이 오직 작업 손실로부터 선택적이고 방향적인 통신 (예: 작업 맥락을 위한 순방향 결합, 도구 결과를 위한 역방향 결합) 을 학습합니다.
• 추론 대 파라미터: 성능 향상은 인터페이스 자체의 용량이 아니라 보조 모델의 추론 능력과 도구 접근에서 비롯됩니다.
• 일반화 트레이드오프: 논문은 분포 내 적합성과 분포 외 (OOD) 일반화 사이의 트레이드오프를 지적합니다. 학습된 번역 인터페이스 (PULLSTANDARD) 는 가장 높은 분포 내 정확도를 달성한 반면, 동일성 결합 (PULLIDENTITY) 은 GSM8K-IRL 과 같은 OOD 문제에 대한 더 나은 일반화를 보여주었습니다. 이는 학습된 게이트를 가진 거의 동일한 통과 방식이 학습된 병목 현상보다 호환 가능한 표현의 귀납적 편향을 더 잘 활용할 수 있음을 시사합니다.
• 한계: 저자들은 동기화 생성이 계산 요구 사항을 두 배로 늘린다고 인정하며, 은닉 상태 교란은 기본 모델이 이미 잘 처리하는 작업에서 성능을 저하시킬 수 있다고 지적합니다 (신호 대신 노이즈 주입). 또한 현재 학습은 인과성 주석이 달린 작업별 데이터를 필요로 하지만, 강화 학습이 이 제약을 완화할 수 있는 잠재적 방안으로 제안됩니다.

이 연구는 은닉 상태 결합이 텍스트 기반 다중 에이전트 통신에 대한 실현 가능한 대안임을 시사하며, 다른 보완적인 모델 페어링 (예: 검색 또는 비텍스트 모달리티) 으로 확장될 수 있고, 전문화된 AI 구성 요소 간 더 효율적이고 연속적인 조율로 이어질 수 있는 길을 제시합니다.