기술 요약: 텍스트 및 코드 생성을 위한 대규모 언어 모델(LLM)의 앙상블 학습

1. 문제 정의

생성형 사전 학습 트랜스포머(GPT)는 텍스트 및 코드 생성의 근간이 되었습니다. 그러나 개별 대규모 언어 모델(LLM)은 다양한 실제 시나리오에서 신뢰성과 적용 가능성을 저해하는 상당한 한계에 직면해 있습니다:

• 불일치 및 편향성: 단일 LLM은 종종 일관되지 않은 출력을 생성하며, 학습 데이터와 고정된 아키텍처 파라미터로 인해 편향을 보입니다. 이는 다양한 언어 패턴을 표현하는 능력을 제한합니다.
• 성능 상한선: 최근 연구에 따르면, 최고의 단일 LLM이라 할지라도 아키텍처적 제약으로 인해 채팅 생성 품질에서 약 57% 정도의 성능만을 달성합니다.
• 폐쇄형 소스 제한: 강력한 많은 LLM의 독점적 특성은 데이터 프라이버시 문제로 인해 산업적 도입을 제한하며, 다양한 모델을 통합하는 능력을 제한합니다.
• 환각 현상(Hallucinations): 단일 모델에 의존하면 외부 지식 접근성이 부족할 때 환각 현상이 발생하고 텍스트 품질이 저하될 수 있습니다.

MoE(Mixture-of-Experts) 및 개선된 학습 기준과 같은 기술들이 존재하지만, 이들은 종로 단일 모델 아키텍처 범위 내에 머무는 경우가 많습니다. 따라서 텍스트 및 코드 생성을 위해 여러 모델을 결합하여 단일 모델의 한계를 극복하는 LLM 앙상블 기법에 대한 포괄적인 검토가 필요합니다.

2. 방법론

본 논문은 새롭게 등장하는 LLM 앙상블 접근 방식에 대한 조사와 체계적인 분석을 제공합니다. 저자들은 이러한 기술들을 아키텍처 수준(Architecture-Level) 앙상블(모델 구조 또는 파라미터 수정)과 모델 수준(Model-Level) 앙상블(가중치를 병합하지 않고 출력 또는 라우팅 결정 결합)의 두 가지로 분류합니다.

A. 아키텍처 수준 앙상블

1. 가중치 병합 (Weight Merging): 여러 번 학습된 LLM의 파라미터를 하나의 모델로 결합합니다.
   • 기법: 단순 평균, 태스크 산술(Task Arithmetic, 미세 조정된 가중치와 사전 학습된 가중치의 차이로 정의된 태스크 벡터 사용), TIES(Trimming, Interpolation, and Sign-based selection), DARE(Drop And RE-scale).
   • 목표: 추가 학습 없이 다양한 학습 지식을 통합합니다.
2. 지식 융합 (Knowledge Fusion): 여러 소스 LLM으로부터 도출된 융합된 확률 분포를 사용하여 타겟 LLM을 학습시킵니다.
   • 기법: 토큰 수준의 예측 분포에 대해 융합 함수를 정의함으로써 지식 증류(Knowledge Distillation)를 확장합니다. 동적 계획법이나 최소 편집 거리를 사용하여 토큰 정렬 문제(서로 다른 토크나이저 문제)를 해결합니다.
   • 목표: 구조적으로 다른 모델들로부터 집단적 지식을 타겟 모델로 전이합니다.
3. Mixture-of-Experts (MoE): 게이팅 네트워크가 입력 토큰을 특정 전문가 서브 네트워크로 라우팅하는 트랜스포머 아키텍처입니다.
   • 기법: 희소 활성화(Sparse activation, 예: 상위 $n$개의 전문가 선택)를 통해 계산 비용의 비례적 증가 없이 모델 용량을 확장할 수 있습니다.
   • 목표: 다중 도메인 데이터 분포를 효율적으로 모델링합니다.
4. 보상 앙상블 (Reward Ensemble): 인간 피드백 기반 강화 학습(RLHF) 내에서 여러 보상 모델(RM)을 집계합니다.
   • 기법: 여러 RM의 점수를 결합하기 위해 평균 최적화, 최악의 경우 최적화 또는 불확 uncertainty 가중 최적화를 사용합니다.
   • 목표: 보상 해킹(Reward Hacking, 과최적화)을 완화하고 인간의 선호도와의 정렬을 개선합니다.

B. 모델 수준 앙상블

5. 출력 앙상블 (Output Ensemble): 재학습 없이 추론 시점에 여러 LLM의 응답을 결합합니다.
   • 기법: 분류를 위한 다수결 투표, 또는 생성된 여러 텍스트를 융합하기 위한 합성 LLM 사용(예: Mixture-of-Agents).
   • 목표: 다양한 베이스 모델의 강점을 활용하여 정확도와 견고성을 높입니다.
6. 라우팅 (Routing): 점수 모델을 기반으로 입력 쿼리를 풀 내에서 가장 적합한 LLM으로 안내합니다.
   • 기법: 특정 작업에 가장 적합한 모델을 예측하기 위해 분류기(예: kNN, Transformer) 또는 점수 함수(예: BART score)를 사용하여 비용과 성능의 균형을 맞춥니다.
   • 목표: 높은 성능을 유지하면서 배포 비용을 최적화합니다.
7. 캐스케이딩 (Cascading): 약하거나 저렴한 모델에서 시작하여 필요할 경우에만 더 강력한 모델로 격상되는 순차적 LLM 호출 방식을 사용합니다.
   • 기법: 결정자(Decision maker)가 일치 점수(Agreement scores)나 일관성 체크 등을 통해 초기 출력을 평가합니다. 임계값에 도달하지 못하면 더 강력한 모델을 호출합니다.
   • 목 목표: 비용의 일부만 사용하여 최적에 가까운 성능을 달성합니다.

C. 평가 프레임워크

본 논문은 텍스트 및 코드 생성을 위한 표준 메트릭을 사용하여 이러한 방법들을 평가합니다:

• 텍스트: 정확도(Accuracy), 승률(Win Rate), BLEU, 정렬 점수(Alignment Scores), 인간 평가, MMLU, GSM8K, AlpacaEval, MT-Bench.
• 코드: Pass@k, CodeBLEU, 실행 시간, HumanEval, MBPP.

3. 주요 기여 및 결과

본 논문은 각 카테고리에 대한 대표적인 연구(2023–2024)를 검토하며 구체적인 성능 향상을 강조합니다:

• 가중치 병합: DARE 및 TIES와 같은 방법은 추가 학습 없이 전문화된 모델(예: 수학 및 코드 모델)을 병합할 수 있게 합니다. 결과에 따르면 병합된 모델은 특정 작업(예: 일본어 수학 추론)에서 GPT-3.5를 능가할 수 있으며, 도메인 전반에 걸쳐 역량을 균형 있게 유지할 수 있지만, 일반적인 대화에서는 여전히 GPT-4에 뒤처질 수 있습니다.
• 지식 융합: FusionChat(7B 파라미터)와 같은 모델은 Mixtral, Solar, OpenChat과 같은 다양한 아키텍처의 지식을 성공적으로 활용하여 구성 모델보다 추론 및 코딩에서 우수한 성능을 보이며, 폐쇄형 소스인 GPT-3.5와 경쟁할 만한 결과를 달성했습니다.
• Mixture-of-Experts: Mixtral 8x7B 및 OLMOE와 같은 아키텍처는 희소 활성화가 MMLU 및 코드 생성(HumanEval)에서 훨씬 적은 활성 파라미터를 사용하면서도 더 큰 밀집(Dense) 모델(예: LLaMA 2 70B)보다 뛰어난 성능을 보일 수 있음을 입증했습니다.
• 보상 앙상블: LoRA 기반 보상 앙상블은 계산량의 비례적 증가 없이 정렬 점수(예: MT-Bench에서 4.16 미만에서 4.35로 상승)와 유용성 데이터셋에 대한 정확도를 개선합니다.
• 출력 앙상블: 에이전트의 계층적 구조를 사용하는 Mixture-of-Agents (MoA) 방식은 AlpacaEval2.0에서 65.1%의 승률(GPT-4o mini의 57.5% 대비)과 HumanEval에서 92.0%를 달성하여 강력한 상용 모델들을 능가했습니다.
• 라우팅: Routoo 및 MLC Router와 같은 시스템은 오픈 소스 모델 간의 라우팅을 통해 GPT-3.5 비용의 절반 미만으로 MMLU에서 75.87%의 정확도를 달성하며, 폐쇄형 모델을 혼합할 경우 GPT-4-Turbo 성능에 절반의 비용으로 근접함을 보여주었습니다.
• 캐스케이딩: FrugalGPT 및 Mixture-of-Thought (MoT) 캐스케이드는 분류 및 추론 작업에서 GPT-4의 정확도를 유지하거나 약간 상회하면서 비용을 최대 80%까지 절감합니다.

4. 의의 및 주장

본 논문은 LLM 앙상블 기술이 단일 모델 접근 방식의 한계를 극복하기 위한 실질적인 경로를 제공하며 다음과 같은 이점을 준다고 주장합니다:

• 다양성 및 품질 향 향상: 여러 에이전트를 결격함으로써 앙상블은 다양한 언어 패턴의 표현을 개선하고 편향을 줄입니다.
• 비용 및 자원 효율성: 라우팅, 캐스케이딩, 가중치 병합과 같은 기술은 거대한 새 모델을 처음부터 학습시키는 계산적 부담 없이 고성능 출력을 가능하게 합니다.
• 유연성: 이러한 방법들은 오픈 소스 모델과 폐쇄형 소스 모델의 통합을 가능하게 하여, 프라이버시 문제를 해결하고 모듈형 시스템 설계를 허용합니다.
• 실제 적용 가능성: 본 조사는 의료, 금융, 교육과 같은 분야에서 특정 작업(예: 추론, 코드 생성, 지시 이행)에 적합한 앙상블 전략을 선택하기 위한 토대를 제공합니다.

저자들은 코드 생성에 특화된 방법론을 적용하고 멀티모달 LLM으로 확장해야 하는 과제가 남아있지만, 앙상블 학습이 고급 AI 역량을 민주화하고 산업계의 의사결정 프로세스를 최적화하는 데 중요한 단계라고 결론짓습니다.