기술 요약: 모듈형 AI 시스템에서의 참여 스케일링 (Scaling Participation)

문제 정의

현재의 거대 언어 모델(LLM)은 소수의 민간 기업에 의해 중앙 집중화된 단일체(monolithic entity)로서 주로 개발되고 있습니다. 이러한 "하향식(top-down)" 접근 방식은 이러한 모델들의 균일한 특성과 인간의 지식, 추론 및 가치의 다면적인 다양성 사이의 구조적 불일치를 초래합니다. 이러한 블랙박스 시스템의 불투명성은 대중의 신뢰를 저해하며, 편향된 데이터와 벤치마크를 기반으로 한 학습은 사회의 다원적인 요구를 신뢰성 있게 대변하는 것을 방지합니다. 나아가, 단일하고 거대한 모델에 의존하는 것은 다양한 이해관계자의 전문화된 우선순위를 통합하는 능력을 제한합니다. 본 논문은 AI가 인류 전체에 영향을 미치는 결정을 중재하기 위해서는, 중앙 집중화된 사일로(silos)에서 벗어나 개방적이고 상향식이며 협력적인 패러다임으로 전환해야 한다고 주장합니다.

방법론

저자들은 다양한 이해관계자의 기여를 통해 모듈형 AI 시스템을 밑바닥부터 구축하는 패러다임인 **참여 스케일링(Scaling Participation)**을 제안합니다. 이 방법론은 두 가지 주요 단계로 구성됩니다.

1. 참여 요청 (Soliciting Participation)

저자들은 학술 연구 산물로 공개된 61개의 언어 모델 풀을 큐레이션했습니다. 이 모델들은 전 세계 236개 학술 연구실의 연구자들에 의해 기여되었으며, 상업적 이익을 넘어선 다양한 아키텍처, 훈련 도메인 및 연구 의제를 대표합니다. 이 모델들은 단일한 통합 파운데이션 모델을 만들려는 시도가 아니라, 전문화된 모듈형 빌딩 블록 역할을 합니다.

2. 참여 오케스트레이션 (Orchestrating Participation)

본 연구는 이 다양한 모델들을 구성적 시스템으로 통합하기 위해 세 가지 정보 교환 수준에 걸쳐 14가지의 뚜렷한 협업 알고리즘을 사용합니다:

• API 수준의 협업 (API-level Collaboration): 라우팅 및 선택에 집중합니다. 방법으로는 프롬프트 라우팅(Prompt Routing), 학습된 라우터(Trained Router), 그래프 라우팅(Graph Routing), *스위치 생성(Switch Generation)*이 있으며, 컨트롤러가 입력에 따라 후보 모델을 선택하거나 전환합니다.
• 텍스트 수준의 협합 (Text-level Collaboration): 생성된 텍스트의 교환을 포함합니다. 방법으로는 멀티 에이전트 정제(Multi-Agent Refine) (반복적 토론 및 정제), 멀티 에이전트 파인튜닝(Multi-Agent Finetuning), LLM 블렌더(LLM Blender) (응답 순위 지정 및 융합), AggLM (집계를 위한 강화 학습), 스파르타 정렬(Sparta Alignment) (경쟁적 평판 기반 정렬), 이질적 스웜(Heterogeneous Swarms) (DAG 기반 오케스트레이션)이 있습니다.
• 가중치 수준의 협업 (Weight-level Collaboration): 모델 파라미터에 대한 산술 연산을 포함합니다. 방법으로는 Dare-Ties (프루닝 및 부호 합의), 그리디 수프(Greedy Soup) (반복적 가중치 평균화), 가중치 외삽(Weight Extrapolation, ExPO), 모델 스웜(Model Swarms) (파라미터 공간에서의 입자 군집 최적화)가 있습니다.
  • 참고: 동일한 아키텍처를 요구하는 가중치 수준 방법의 경우, 저자들은 전문성을 유지하면서 파라미터 병합을 가능하게 하기 위해 다양한 기여 모델로부터 통일된 학생 아키텍처(Qwen-2.5-7B)로 지식 증류(knowledge distillation)를 수행했습니다.

실험에서는 이러한 협업 프레임워크 내에서 참여하는 모델의 수를 2개에서 최대 32개까지 확장하여, 비모듈형 및 비참여형 베이스라인과 비교 테스트했습니다.

주요 결과

5개 도메인(일반 QA, 추론, 지식, 안전성, 지시 이행) 및 15개 태스크에 대한 광범위한 평가를 통해 다음과 같은 결과가 도출되었습니다:

• 성능 우위: 참여형 AI 시스템은 비모듈형 및/또는 비참여형 베이스라인보다 평균적으로 최대 15.4% 더 높은 성능을 보였습니다. 특히, 가장 우수한 협업 시스템은 참여하는 32개 모델의 전체 크기보다 2.38배 더 큰 최대 규모의 단일체 베이스라인인 Llama 3.1 405B를 능가했습니다.
• 스케일링 트렌드: 성능은 참여 모델의 수가 2개에서 32개로 증가함에 따라 일관되게 향상되었으며, 스케일링 범위 전반에 걸쳐 평균 **28.78%**의 개선을 보였습니다.
• 동력으로서의 다양성: 통제된 실험을 통해 이러한 개선이 단순히 컴퓨팅 자원의 증가 때문이 아니라, 모델의 다양성에 의해 유의미하게 주도되었음을 입증했습니다. 다양한 기관과 국제적 출처의 모델들로 구축된 시스템은 그렇지 않은 구성의 시스템보다 더 큰 성능 향상(각각 최대 18.8% 및 18.0%)을 보여주었습니다.
• 협업적 창발 (Collaborative Emergence): 시스템은 개별 참여 모델들이 모두 실패한 문제의 15% 이상을 해결하는 창발적 능력을 보여주었습니다. 이는 협업을 통해 시스템이 개별 구성 요소의 능력을 넘어 일반화할 수 있음을 시사합니다.
• 인간 다양성의 대변: 참여형 시스템은 문화적 맥락과 가치(CultureBench, Value Kaleidoscope)와 관련된 태스크에서 단일체 모델보다 21.58% 더 높은 성과를 보이며 독특한 강점을 나타냈는데, 이는 일반적인 유틸리티 태스크보다 높은 격차입니다.
• 구성적 vs 개별적 강점: 본 연구는 모델의 개별적 강점과 "구성적 강점"(협업 시스템 내에서의 기여도) 사이에 상관관계가 없음을 발견했습니다. 이는 개별 성능을 최적화하는 것이 참여형 프레임워크에서의 유용성을 보장하지 않음을 의미합니다.
• 참여자 혜택: 모델 기여자들의 원래 우선순위에 대한 평가 결과, 구성적 시스템이 기여자들이 원래 목표했던 특정 태스크와 도메인에서의 성능을 향상시킨 것으로 확인되어, 참여를 위한 실질적인 유인을 제공했습니다.

의의 및 주장

본 논문은 AI 개발을 단일체적인 현상 유지 상태에서 개방적이고 민주화되며 협력적인 미래로 전환하기 위한 기술적 토대를 제공한다고 주장합니다. 그 의의는 다음과 같은 몇 가지 측면에 있습니다:

1. 패러다임 전환: "밑바닥부터(bottom-up)" 구축된, 다양하고 전문화된 기여를 바탕으로 한 AI가 중앙 집중화된 최첨단 단일체 모델과 대등하거나 이를 능가할 수 있음을 입증했습니다.
2. 다원적 정렬 (Pluralistic Alignment): AI 시스템에 인간의 재능과 요구의 풍부함을 반영할 수 있는 메커니즘을 제공하여, 현재의 AI 거버넌스에 존재하는 민주적 정당성 격차를 해결합니다.
3. 새로운 평가 지표: 미래의 AI 연구가 단순히 개별 벤치마크뿐만 아니라 협업 시스템 내에서의 유용성을 기준으로 모델을 평가해야 한다고 주장하며 "구성적 강점"이라는 개념을 도입했습니다.
4. 실행 가능성: 기존의 오픈 소스 모델을 활용하고 워크플로우의 변경 없이 동의(consent)만을 요구함으로써, 이 접근 방식은 참여형 AI를 향한 낮게 진입 장벽을 가진, 즉각적이고 실행 가능한 경로로 제시됩니다.

저자들은 참여를 스케일링하는 것이 단순한 기술적 최적화가 아니라, 더 투명하고 다원적이며 사회의 다양한 요구에 부응할 수 있는 AI 시스템을 구축하기 위한 필수적인 진화라고 결론짓습니다.