TRINITY: An Evolved LLM Coordinator

트라이니티는 약 0.6B 파라미터의 경량 조정자와 진화 전략을 활용하여 다양한 대형 언어 모델 간에 Thinker, Worker, Verifier 역할을 동적으로 할당함으로써 기존 방법론을 능가하는 뛰어난 성능과 일반화 능력을 달성하는 새로운 LLM 협업 프레임워크입니다.

핵심

트리니티 (TRINITY): AI 들의 '명작 지휘자'에 대한 이야기

이 논문은 거대한 인공지능 (LLM) 들을 어떻게 하면 더 똑똑하게, 그리고 효율적으로 함께 일하게 할 수 있는지에 대한 새로운 방법을 소개합니다. 기존에는 모델의 크기를 키우거나 여러 모델을 섞어서 (가중치 병합) 하나의 거대 모델로 만드는 시도가 많았지만, 이는 기술적 제약과 비용 때문에 한계가 있었습니다.

이제 트리니티 (TRINITY) 라는 새로운 시스템이 등장했습니다. 이걸 쉽게 이해하기 위해 몇 가지 비유를 들어보겠습니다.

---

1. 문제: 거인들을 어떻게 조율할 것인가?

지금까지 AI 연구자들은 "더 큰 AI"를 만드는 데 집중했습니다. 마치 더 큰 엔진을 달고 더 빠른 차를 만드는 것과 비슷하죠. 하지만 엔진이 너무 크면 기름도 많이 들고, 고장 나면 수리하기도 어렵습니다.

또 다른 방법은 여러 개의 작은 엔진을 하나로 합치는 것이지만, 서로 모양이 달라서 끼워맞추기 어렵거나, 비공개 엔진 (상용 모델) 은 아예 합칠 수 없습니다.

트리니티의 해결책:
거대한 엔진을 새로 만들거나 합칠 필요 없이, 작은 '지휘자 (Coordinator)' 를 세워 여러 AI 들을 지시하게 합니다. 지휘자 본인이 모든 음악을 연주할 필요는 없습니다. 대신 누가 어떤 악기를 언제 연주할지 결정하면 됩니다.

2. 트리니티의 핵심 구성 요소

🎻 작은 지휘자 (The Lightweight Coordinator)

트리니티의 지휘자는 아주 작습니다. (약 0.6 억 개의 파라미터, 일반적인 AI 에 비하면 매우 작음).

• 비유: 거대한 오케스트라를 지휘하는 지휘자가 거대한 몸집을 가질 필요는 없습니다. 중요한 건 눈썰미와 판단력입니다.
• 작동 원리: 지휘자는 사용자의 질문을 듣고, 그 질문의 '분위기'나 '맥락'을 아주 빠르게 파악합니다. 이때 지휘자는 직접 답을 말하지 않고, 가장 적합한 악기 (AI 모델) 를 선택하고 어떤 역할을 맡길지 정합니다.

🎭 세 가지 역할 (Thinker, Worker, Verifier)

지휘자는 선택한 AI 에게 다음 세 가지 역할 중 하나를 부여합니다. 마치 극단에서 배우에게 역할을 배정하는 것과 같습니다.

1. 생각하는 사람 (Thinker, T):
   • 역할: 문제를 분석하고 큰 그림을 그립니다. "이 문제는 어떻게 풀어야 할까? 단계별로 나누어보자."
   • 비유: 건축가가 설계도를 그리는 단계입니다.
2. 일하는 사람 (Worker, W):
   • 역할: 실제 계산을 하거나 코드를 짭니다. "설계도대로 벽돌을 쌓아보자."
   • 비유: 현장의 기술자가 실제로 건물을 짓는 단계입니다.
3. 검증하는 사람 (Verifier, V):
   • 역할: 만들어진 답이 맞는지, 빠진 게 없는지 확인합니다. "이 벽이 기울지 않았나? 안전할까?"
   • 비유: 검사관이 건물을 최종 점검하는 단계입니다.

이 과정은 몇 번이고 반복됩니다. 지휘자가 "아, 이 부분은 생각하기 (Thinker) 가 필요해"라고 하면 생각하기 AI 가 답을 내고, 그다음 "이제 계산해 (Worker) 줘"라고 하면 계산 AI 가 답을 냅니다. 마지막에 검증 AI 가 "OK, 이 답은 맞다"라고 하면 게임은 끝납니다.

3. 어떻게 배우는가? (진화 전략)

이 지휘자를 어떻게 훈련시킬까요? 보통은 정답을 알려주고 학습시키지만 (지도 학습), 트리니티는 진화 전략 (Evolutionary Strategy) 을 사용합니다.

• 비유: 마치 자연선택처럼, 지휘자의 판단 방식을 무작위로 조금씩 변형시켜 봅니다.
  • "이번엔 GPT-5 를 선택해 보자." -> 점수 낮음.
  • "이번엔 Claude 를 선택해 보자." -> 점수 높음!
  • "그럼 Claude 를 선택하는 방향으로 조금 더 수정해 보자."
• 이 과정을 반복하며, 최소한의 비용으로 가장 좋은 조합을 찾아냅니다. 논문에서는 이 방법이 기존의 강화학습 (RL) 보다 훨씬 빠르고 효율적이라고 증명했습니다.

4. 왜 이것이 대단한가? (결과)

트리니티는 여러 테스트에서 놀라운 성과를 냈습니다.

• 코드 작성 (LiveCodeBench): 코딩 테스트에서 86.2% 의 정확도를 기록하며, 기존에 존재하던 어떤 단일 AI 보다도 훨씬 잘했습니다. 이는 마치 여러 명의 천재 프로그래머를 한 팀으로 묶어, 각자가 가장 잘하는 부분만 담당하게 했을 때 나오는 시너지 효과입니다.
• 유연성: 수학, 논리, 일반 상식 등 어떤 문제든 상황에 따라 가장 적합한 AI 를 골라냅니다.
• 비용 효율성: 거대한 모델을 새로 훈련시킬 필요 없이, 이미 존재하는 AI 들을 잘만 조율하면 됩니다.

5. 요약: 트리니티의 마법

트리니티는 "혼자서 모든 것을 하려는 거인" 대신 "서로 다른 재능을 가진 전문가들을 지휘하는 작은 지휘자" 를 선택했습니다.

• 기존 방식: "내가 다 해볼게!" (거대 모델)
• 트리니티 방식: "너는 설계해, 너는 지어, 너는 검사해. 내가 너희를 잘 연결해 줄게!"

이 작은 지휘자는 AI 들의 숨겨진 능력을 끌어내어, 개별 모델이 할 수 없던 복잡한 문제까지 해결할 수 있게 해줍니다. 마치 작은 지휘자가 거대한 오케스트라를 지휘하여 환상적인 교향곡을 만들어내는 것과 같습니다.

이 연구는 앞으로 AI 가 더 커지는 것뿐만 아니라, 어떻게 협력할지를 설계하는 것이 더 중요해질 수 있음을 보여줍니다.

기술 요약

TRINITY: 진화한 LLM 조정자 (Coordinator) 에 대한 기술적 요약

이 논문은 ICLR 2026 에 발표된 'TRINITY'라는 새로운 프레임워크를 소개합니다. TRINITY 는 다양한 대형 언어 모델 (LLM) 들을 조정하여 단일 모델이나 기존 다중 에이전트 방법론보다 뛰어난 성능을 달성하는 경량 조정자 (Coordinator) 시스템입니다.

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 의 성능 향상은 주로 모델 크기, 학습 토큰 수, 컴퓨팅 자원 증가 (Scaling Laws) 에 의존해 왔으나, 이는 비용 효율성과 한계에 직면해 있습니다. 반면, 모델 병합 (Model Merging) 은 파라미터 수준에서 통합을 시도하지만, 아키텍처 불일치와 오픈소스/클로즈드소스 모델 간의 접근성 문제로 인해 실용성이 제한적입니다.

핵심 문제:

• 다양한 공급자의 최상위 LLM 들을 가중치를 수정하지 않고도 시너지 효과를 내도록 결합하는 방법.
• 조정자 (Coordinator) 가 복잡한 작업을 스스로 수행하는 것이 아니라, 외부 LLM 들에게 적절한 역할을 할당하여 효율적으로 분업하는 메커니즘 부재.
• 제한된 예산 (Budget) 하에서 조정 전략을 학습할 때, 기존 강화학습 (RL) 이나 모방 학습 (Imitation Learning) 의 비효율성.

2. 방법론 (Methodology)

TRINITY 는 세 가지 핵심 요소로 구성됩니다:

2.1. 경량 조정자 아키텍처 (Lightweight Coordinator)

• SLM 기반 컨텍스트 추출: 약 0.6B 파라미터의 소형 언어 모델 (SLM, Qwen3-0.6B) 을 백본으로 사용합니다. 조정자의 핵심은 SLM 의 은닉 상태 (Hidden States) 에서 입력의 풍부한 컨텍스트 정보를 추출하는 것입니다.
• 경량 헤드 (Lightweight Head): SLM 의 마지막 은닉 층 바로 뒤에 약 10K 파라미터의 선형 레이어 (Head) 를 부착합니다. 이 헤드는 SLM 의 은닉 상태를 입력받아 다음 두 가지 결정을 내립니다:
  1. LLM 선택: 사용 가능한 LLM 풀 (7 개 모델) 중 하나를 선택.
  2. 역할 부여: 선택된 LLM 에게 3 가지 역할 중 하나를 할당.
• 파라미터 효율성: 학습 가능한 파라미터 총량은 20K 미만으로, 기존 파인튜닝에 비해 수만 배 효율적입니다. 또한, SLM 의 일부 레이어에 대해 특이값 미세조정 (Singular Value Fine-tuning, SVF) 을 적용하여 표현력을 향상시킵니다.

2.2. 삼역할 조정 프로토콜 (Tri-Role Coordination)

조정자는 다중 턴 (Multi-turn) 프로토콜을 통해 다음 세 가지 역할을 LLM 에게 동적으로 할당합니다:

1. Thinker (T): 문제 해결을 위한 고수준 전략 수립, 하위 목표 분해, 또는 부분 해결책에 대한 비판.
2. Worker (W): 구체적인 문제 해결 단계 수행 (코드 작성, 수식 유도, 계산 등).
3. Verifier (V): 현재 해결책의 정확성과 완전성을 검증. '수용 (Accept)' 시 종료, '수정 (Revise)' 시 다음 턴으로 진행.

이 프로세스는 검증자가 '수용'을 하거나 최대 턴 수 (기본 5 턴) 에 도달할 때까지 반복됩니다.

2.3. 진화 전략을 통한 학습 (Learning via Evolutionary Strategy)

조정자의 최적화 문제는 이진 보상 (성공/실패) 을 가지며, 파라미터와 보상 간의 상관관계가 약하고 평가 비용이 매우 높습니다.

• sep-CMA-ES 적용: 전통적인 REINFORCE 알고리즘은 노이즈가 심하고 학습이 불안정합니다. 따라서 저자들은 분리 가능한 공분산 행렬 적응 진화 전략 (sep-CMA-ES) 을 사용합니다.
• 이유: 문제 공간이 블록-ε 분리 가능성 (Block-ε Separability) 을 가지며, 파라미터 간 상호 의존성이 낮아 대각선 공분산 행렬만 유지하는 sep-CMA-ES 가 무작위 탐색 (Random Search) 과 RL 보다 훨씬 효율적으로 수렴함을 이론적, 실험적으로 증명했습니다.

3. 주요 기여 (Key Contributions)

1. 경량 및 효과적인 조정 메커니즘: SLM 의 은닉 상태만으로도 20K 미만의 파라미터로 다양한 LLM 들을 효과적으로 조정할 수 있음을 입증했습니다. 이는 모델 구성 (Model Composition) 의 새로운 패러다임을 제시합니다.
2. 고효율 학습 방법론: 제한된 예산 환경에서 RL, 모방 학습, 무작위 탐색보다 sep-CMA-ES 가 우월함을 이론적 분석과 실험을 통해 증명했습니다.
3. 최고 수준의 성능 및 일반화: 다양한 벤치마크에서 SOTA 를 달성했으며, 훈련되지 않은 새로운 작업 (Zero-shot) 에도 강력하게 일반화됩니다.

4. 실험 결과 (Results)

TRINITY 는 4 가지 주요 벤치마크 (Math500, MMLU, RLPR, LiveCodeBench) 와 4 가지 홀드아웃 (Hold-out) 작업 (AIME, BigCodeBench, MT-Bench, GPQA-D) 에서 평가되었습니다.

• 성능:
  • LiveCodeBench: 86.2% (Pass@1) 의 새로운 기록을 세웠으며, GPT-5(83.8%), Gemini 2.5-Pro(67.2%) 등 최상위 단일 모델들을 압도했습니다.
  • 평균: Math500, MMLU, RLPR, LiveCodeBench 에서 기존 최선 방법론 대비 평균 상대 오차 21.9% 감소를 달성했습니다.
  • 일반화: 훈련 데이터에 포함되지 않은 AIME, BigCodeBench 등에서도 단일 모델 풀 내의 어떤 모델보다도 높은 평균 점수를 기록했습니다.
• 비교:
  • 단일 모델 (GPT-5, Gemini 등) 이나 5 배 컨텍스트/자기반성 (Self-Reflection) 을 적용한 모델들보다 우월한 성능을 보였습니다.
  • 기존 다중 에이전트 방법론 (MoA, RouterDC, Smoothie 등) 보다 일관성 있게 높은 성능을 발휘했습니다.
• 분석:
  • 분리 가능성 (Separability): SLM 의 은닉 상태는 작업 유형 (Task Type) 에 따라 선형적으로 완벽하게 분리 가능함을 확인했습니다.
  • 학습 알고리즘: sep-CMA-ES 는 REINFORCE 나 무작위 탐색보다 훨씬 빠르게 최적의 에이전트 분포를 학습했습니다.

5. 의의 및 결론 (Significance)

TRINITY 는 거대 모델을 단순히 확장 (Scaling) 하는 대신, 협업형 AI 생태계 (Collaborative AI Ecosystems) 를 설계하는 것이 더 효율적이고 강력한 해결책이 될 수 있음을 보여줍니다.

• 블랙박스 모델 활용: 가중치 접근이 불가능한 클로즈드소스 모델 (GPT-5, Claude 등) 도 조정 시스템에 통합할 수 있어, 현재 존재하는 최상위 모델들의 능력을 모두 활용할 수 있습니다.
• 비용 효율성: 경량 조정자와 진화 전략을 통해 고비용의 다중 턴 추론을 최적화하며, 기존 RL 기반 방법론의 학습 비용을 획기적으로 줄였습니다.
• 미래 전망: 현재는 추론과 계획에 집중되어 있지만, 향후 코드 인터프리터나 API 와 같은 이질적인 에이전트 풀을 통합하여 실제 행동 (Grounded Execution) 까지 가능한 범용 문제 해결 시스템으로 발전할 잠재력을 가지고 있습니다.

요약하자면, TRINITY 는 "더 큰 모델"이 아닌 "더 똑똑한 조정자"를 통해 LLM 의 한계를 극복하고, 다양한 모델의 강점을 시너지 있게 결합하는 새로운 방향성을 제시한 획기적인 연구입니다.