🤖 AI

Power and Limitations of Aggregation in Compound AI Systems

본 논문은 복합 AI 시스템에서 여러 개의 동일한 모델로부터 응답을 집계하는 것의 위력과 한계를 조사하며, 이러한 집계가 타당성 확장(feasibility expansion), 지지 집합 확장(support expansion), 그리고 구속 집합 축소(binding set contraction)라는 세 가지 특정 메커니즘을 통해서만 인출 가능한 출력(elicitable outputs)의 집합을 확장한다는 것을 증명하고, 거대 언어 모델 작업에서 이러한 발견에 대한 실증적 검증을 제공한다.

원저자: Nivasini Ananthakrishnan, Meena Jagadeesan

게시일 2026-07-09

📖 6 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Nivasini Ananthakrishnan, Meena Jagadeesan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 이야기를 쓰거나, 수학 문제를 풀거나, 연구 논문 목록을 만들 수 있는 아주 똑똑한 로봇 친구가 있다고 상상해 보세요. 당신이 질문 하나를 던지면, 로봇은 하나의 답변을 내놓습니다. 그런데 만약 똑같은 질문을 세 대의 로봇 복사본에게 던지되, 각각 조금씩 다른 지시를 내리고 그 답변들을 하나로 합친다면 어떻게 될까요? 최종적으로 만들어진 이 '합성물'은 단일 로봇이 스스로 낼 수 있는 것보다 더 똑똑할까요?

이것이 바로 연구자 니바시니 아난드라크리슈난(Nivasini Ananthakrishnan)과 미나 자가데산(Meena Jagadeesan)이 새로운 논문에서 다룬 핵심적인 질문입니다. 그들은 단순히 추측하는 데 그치지 않고, 결합이 언제, 왜 효과가 있는지, 그리고 언제 시간 낭비에 불과한지를 정확히 파악하기 위해 수학적인 '대리인 모델(principal-agent)' 프레임워크(상사가 부하 직원에게 업무를 주는 엄격한 규칙 책이라고 생각하면 됩니다)를 구축했습니다.

집합(Aggregation)의 세 가지 마법 같은 기술

저자들은 단순히 똑같은 로봇에게 세 번 물어보는 것만으로는 로봇이 자동으로 더 똑똑해지지 않는다는 사실을 발견했습니다. 실제로, 한 그룹의 로봇이 단일 로봇이 결코 낼 수 없는 답변을 만들어내기 위해서는, 그 그룹이 반드시 세 가지 특정 '마법 기술' 중 하나를 수행해야 한다는 것을 증명했습니다. 만약 그룹이 이 세 가지 기술 중 적어도 하나를 수행하지 못한다면, 아무리 정교한 지시(프롬프트)를 사용하더라도 그 집합 과정은 무용지물입니다.

여기 세 가지 기술을 **논문 참조 생성기(Paper Reference Generator)**에 대한 이야기로 설명해 드립니다.

1. "불가능한 혼합" 기술 (Feasibility Expansion - 실행 가능성 확장)
어떤 로봇에게 글리치(오류)가 있다고 상상해 보세요. 이 로봇은 "블록체인"에 대해 말하려면 반드시 "암호학"도 함께 언급해야만 합니다. 마치 "사과"라고 말하려면 반드시 "파이"도 함께 말해야 하는 로봇과 같습니다.

단일 로봇: 만약 블록체인에 관한 목록을 요청하면, 이 로봇은 반드시 암호학을 포함해야만 합니다. 어쩔 수 없는 일이죠.
그룹: 로봇 A에게는 "분산 시스템을 제외한 블록체인"에 대한 목록을 요청하고, 로봇 B에게는 "블록체인을 제외한 암호학"에 대한 목록을 요청합니다. 로봇 A는 블록체인이 풍부한 목록을 주고, 로봇 B는 암호학이 풍부한 목록을 줍니다. 이 두 목록을 결합하면, 여러분은 암호학이 전혀 포함되지 않은 완벽한 '순수 블록체인' 목록을 얻을 수 있습니다.
마법: 그룹은 단일 로봇이 가진 내부적 '글리치(제약 조건)' 때문에 혼자서는 결코 만들어낼 수 없었던 결과물(순수 블록체인)을 만들어냈습니다. 논문에서는 이를 **실행 가능성 확장(Feasibility Expansion)**이라고 부릅니다.

2. "너무 많은 취미" 기술 (Support Expansion - 지지 집합 확장)
당신이 로봇에게 "우주"와 "의학"에 대해 똑같이 비중을 둔 이야기를 써달라고 하고 싶다고 상상해 보세요.

단일 로봇: 이 로봇은 멀티태스킹에 서툽니다. 우주에 집중하라고 하면 의학을 무시하고, 의학에 집중하라고 하면 우주를 무시합니다. 두 목표를 동시에 완벽하게 맞출 수 없습니다.
그룹: 로봇 A에게는 오직 '우주'에만 집중하라고 하고, 로봇 B에게는 오직 '의학'에만 집중하라고 합니다. 로봇 A는 훌륭한 우주 이야기를, 로봇 B는 훌륭한 의학 이야기를 줍니다. 이 둘을 섞으면, 두 주제 사이에서 완벽한 균형을 잡은 이야기를 얻게 됩니다.
마법: 그룹은 단일 로봇이 혼자서 관리할 수 있는 것보다 더 넓은 범위의 주제(더 풍부한 지지 집합)를 다루는 결과물을 만들어냈습니다. 논문에서는 이를 **지지 집합 확장(Support Expansion)**이라고 부릅니다.

3. "느슨한 제약" 기술 (Binding Set Contraction - 결합 집합 축소)
로봇이 다음과 같은 규칙을 따라야 한다고 상상해 보세요: "만약 '딥러닝'을 언급한다면, 반드시 '신경망'도 함께 언급해야 한다."

단일 로봇: 딥러닝에 관한 목록을 요청하면, 로봇은 이 규칙에 '묶여(bound)' 있습니다. 신경망 없이 딥러닝만 전달할 수 없습니다.
그룹: 로봇 A에게는 딥러닝 90%, 신경망 10%의 비율로 목록을 요청하고, 로봇 B에게는 신경망 90%, 딥러닝 10%의 비율로 요청합니다. 이 둘을 결합하면, "반드시 포함해야 한다"는 규칙이 상쇄되어 훨씬 더 순수한 딥러닝 목록을 얻거나, 적어도 단일 로봇이 낼 수 있는 것보다 훨씬 적은 양의 신경망 부가 정보를 가진 목록을 얻을 수 있습니다.
마법: 그룹은 단일 로봇을 붙잡고 있던 가장 '타이트한' 제약 조건에서 빠져나오는 방법을 찾아냈습니다. 논문에서는 이를 **결합 집합 축소(Binding Set Contraction)**라고 부릅니다.

거대한 "아니오" (집합이 할 수 없는 것)

이 부분이 가장 중요한 부분입니다. 이 논문은 단순히 더 많은 로봇을 투입하거나 더 복잡한 지시를 내리는 것만으로는 더 나은 결과를 보장할 수 없다는 점을 명시적으로 배제합니다.

저자들은 여러분의 집합 방식(답변을 섞는 방법)이 위의 세 가지 기술 중 하나를 수행하지 않는다면, 그것은 제로(0)의 힘밖에 없음을 수학적으로 증명했습니다. 여러분이 천재적인 프롬프트 작성가이거나 로봇이 매우 진보했더라도 마찬가지입니다. 만약 이 결합 과정이 '실행 가능한 영역'을 확장하거나, '지지 집합(주제)'을 확장하거나, '결합된 제약'을 축소하지 못한다면, 그 그룹은 단일 로봇과 똑같이 제한적일 뿐입니다.

사실, 그들은 만약 여러분이 이러한 기술을 사용하지 않는 방식으로 답변을 섞으려 한다면, 결국 막다른 길에 다다를 것이라고 보여주었습니다. 여러분이 아무리 노력하더라도 단일 로봇이 줄 수 없는 답변을 얻는 것은 불가능합니다.

얼마나 확실한가요?

저자들은 단순히 이것을 만들어낸 것이 아니라, 이를 증명했습니다.

이론: 그들은 엄격한 수학을 사용하여 이 세 가지 메커니즘이 **필수적(necessary)**임을 증명했습니다. 즉, 만약 어떤 AI 에이전트 그룹이 단일 에이전트가 할 수 없는 놀라운 일을 해내는 것을 본다면, 그것은 반드시 이 세 가지 중 하나를 수행하고 있는 것입니다. 또한, 이 규칙들의 '강화된' 버전이 **충분조건(sufficient)**임을 증명했습니다. 즉, 이 규칙들이 일어나고 있다는 것을 보여줄 수 있다면, 더 나은 결과를 얻을 것이라고 보장할 수 있습니다.
시뮬레이션: 이론이 단순한 가설이 아님을 확인하기 위해, 그들은 실제 대규모 언어 모델(특히 GPT-4o-mini)을 사용하여 시뮬레이션(컴퓨터 실험)을 수행했습니다.
- 그들은 AI가 연구 논문 제목 목록을 생성하는 '토이(toy)' 과제를 설정했습니다.
- 그들은 세 가지 기술을 테스트했습니다. 지지 집합 확장(Support Expansion) 테스트에서, 단일 모델은 '복잡성 이론'과 '거시경제학' 사이의 균형을 완벽하게 맞추지 못했지만, 그룹은 해냈습니다.
- 실행 가능성 확장(Feasibility Expansion) 테스트에서, 그룹은 단일 모델은 실패했던 '블록체인'에 관한 목록을 만들면서 '분산 시스템'을 피할 수 있음을 보여주었습니다.
- 결합 집합 축소(Binding Set Contraction) 테스트에서, 그룹은 단일 모델보다 '딥러닝'을 더 잘 분리해 낼 수 있음을 보여주었습니다.

이 시뮬레이션들에서, 그룹이 만들어낸 결과물과 단일 모델이 만들어낼 수 있는 결과물 사이의 거리는 명확했습니다. 예를 들어, 지지 집합 확장 테스트에서 그 차이( $\ell_1$ 거리 기준)는 0.63에서 1.02 사이였습니다. 실행 가능성 확장 테스트에서의 격차는 0.07에서 0.39 사이였습니다. 이 숫자들은 0이 아닙니다. 이는 그룹이 단일 로봇이 할 수 없었던 일을 해냈음을 증명합니다.

호기심 많은 이들을 위한 시사점

그렇다면 다섯 대의 로봇에게 협력하도록 시키는 것이 항상 슈퍼 로봇을 만드는 걸까요? 아닙니다. 이 논문은 그것이 효과를 보려면 답변을 결합하는 방법에 있어 영리해야 한다고 제안합니다. 여러분은 단일 로봇을 묶어두었던 규칙을 깨뜨리거나, 한 대의 로봇보다 더 넓은 영역을 커버하기 위해 결합 방식을 사용해야 합니다.

만약 답변을 무작위로 섞거나, 로봇들에게 정확히 똑같은 일을 시킨다면, 여러분은 아무것도 얻지 못할 것입니다. 하지만 로봇의 약점(예: 멀티태스킹 능력 부족이나 강제된 부수 효과 등)을 활용하는 올바른 '혼합' 전략을 사용한다면, 이전에는 불가능했던 완전히 새로운 세계의 답변을 열 수 있습니다.

저자들은 이것이 '복합 AI 시스템(Compound AI Systems)'을 구축하기 위한 로드맵을 제공한다고 결론짓습니다. 단순히 더 많은 모델이 더 나은 결과를 가져올 것이라고 막연히 기대하는 대신, 이제 우리는 실제로 시스템을 더 똑똑하게 만들기 위해 어떤 종류의 '혼합'이 필요한지 정확히 알게 되었습니다. 이것은 마법이 아닙니다. 수학입니다.

기술 요약: 복합 AI 시스템에서 집계(Aggregation)의 힘과 한계

문제 정의

단일 모델을 독립적으로 사용하는 대신 여러 AI 구성 요소를 활용하는 복합 AI 시스템(Compound AI systems)은 복잡한 과제를 해결하기 위한 강력한 패러다임으로 부상했습니다. 흔arly한 전략 중 하나는 동일한 대규모 언어 모델(LLM)의 여러 복사본에 서로 다른 프롬프트나 도구를 사용하여 쿼리를 보내고 그 응답을 집계하는 것입니다. 경험적인 성공은 집계가 성능을 향상시킨다는 것을 시사하지만, 동종의 모델들을 집계하는 것이 단일 모델을 쿼리하는 것보다 엄격하게 더 큰 출력 집합을 확보할 수 있는 이론적 조건은 여전히 불분ci합니다.

본 논문은 이러한 집계의 힘과 한계를 조사합니다. 구체적으로 다음과 같은 질문을 던집니다: 프롬프트 엔지니어링(보상 명세) 및 모델 역량에 대한 제약 조건이 주어졌을 때, 동일한 모델의 여러 복사본으로부터 출력을 집계하는 것이 단일 모델으로부터는 이끌어낼 수 없는 출력을 이끌어내는 데 도움이 되는 경우는 언제인가?

방법론

저자들은 Kleinberg와 Raghavan [2020]의 연구를 확장하여 이 문제를 정형화된 **주체-대리인 프레임워크(principal-agent framework)**를 통해 공식화합니다.

이론적 프레임워크

에이전트 및 출력: 시스템은 $K$ 개의 에이전트(동일한 LLM 복사본을 나타냄)와 단일 주체(시스템 설계자)로 구성됩니다. 출력은 $M$ 차원 비음수 벡터 $x \in \mathbb{R}^M_{\ge 0}$ 로 표현됩니다.
모델 역량 (원뿔 제약 조건): 모델의 한계는 출력 공간에 대한 원뿔 제약 조건 $C$ 로 모델링됩니다. 가용 집합은 $B_{feasible}(C) = \{x \in \mathbb{R}^M_{\ge 0} \mid Cx \le 0\}$ 로 정의됩니다. 이는 모델이 바람직하지 않은 부작용(예: 환각 또는 안전 위반) 없이 특정 바람직한 출력을 생성할 수 없는 시나리오를 포착합니다.
프롬프트 엔지니어링의 한계 (더 거친 특징): 시스템 설계자는 $M$ 차원 출력 공간에 대해 직접 보상을 명세할 수 없습니다. 대신, 보상은 특징 가중치 행렬 $\alpha$ 에 의해 정의된 더 거친 $N$ 차원 특징 공간에 대해 작동합니다. 특징 매핑 $F(x)$ 는 출력 차원을 통합하며, 이는 프롬프트가 미달 지정되었거나 모델이 미세한 구분을 오해할 수 있다는 한계를 포착합니다.
에이전트 최적화: 각 에이전트 $k$ 는 자신의 예산 $E^{(k)}$ 와 원뿔 제약 조건 $C$ 를 준수하면서 단조 보상 함수 $R^{(k)}$ 를 최대화합니다.
이끌어내기 확장성(Elicitability-Expansion): 집계 연산 $x^{(1)}, \dots, x^{(K)} \to x^{(A)}$ 는 구성 요소인 출력 $x^{(k)}$ 들이 개별적으로는 어떤 보상/예산 쌍에 의해 이끌어낼 수 있지만, 집계된 출력 $x^{(A)}$ 는 단일 보상/예산 쌍에 의해 이끌어낼 수 없을 때 *이끌어내기 확장적(elicitability-expanding)*이라고 정의됩니다.

집계 규칙

본 논문은 일반적인 집계 규칙을 분석하지만, 두 가지 자연스러운 유형에 집중합니다:

교집합 집계 (Intersection Aggregation): 좌표별 최솟값( $x^{(1)} \wedge \dots \wedge x^{(K)}$ ). 이는 토론 프로토콜이나 합의 필터링과 유사합니다.
합산 집계 (Addition Aggregation): 가중 합( $\sum w_k x^{(k)}$ ). 이는 전문화된 하위 작업들을 합성하는 것과 유사합니다.

주요 기여

1. 세 가지 자연스러운 메커니즘의 식별

저자들은 집계가 이끌어낼 수 있는 출력의 집합을 확장할 수 있는 세 가지 메커니즘을 식별했습니다:

가용성 확장 (Feasibility Expansion): 집계는 개별 에이전트의 가용 집합 외부( $Cx^{(A)} \not\le 0$ )에 있는 출력 $x^{(A)}$ 를 생성하며, 이를 통해 모델 역량 제약을 우회합니다.
서포트 확장 (Support Expansion): 집계는 더 작은 서포트(더 적은 비제로 차원)를 가진 출력들을 결합하여 더 풍부한 서포트를 가진 출력으로 만듭니다. 이는 특정 특징 조합을 직접 이끌어내기 어려운 보상 명세의 한계를 극복합니다.
결합 집합 수축 (Binding Set Contraction): 집계는 제약 조건이 결합(active)된 출력들을 결합하여 해당 제약 조건이 더 이상 결합되지 않은(interior) 상태의 출력으로 만듭니다. 이는 가용 집합의 기하학적 구조를 활용하여 새로운 방향을 탐색합니다.

2. 필요충분조건

본 논문은 집계가 강력해지는 조건을 엄격하게 규명합니다:

필요성: 정리 3.7은 집계가 이끌어내기 확장을 구현하려면 반드시 세 가지 메커니즘 중 적어도 하나(가용성 확장, 또는 모든 에이전트에 대한 서포트/결합 집합 확장)를 구현해야 함을 증명합니다. 만약 이 중 어느 것도 구현하지 않는다면, 프롬프트 엔지니어링의 한계와 상관없이 집계는 아무런 힘을 갖지 못합니다.
기본 메커니즘의 불충분성: 저자들은 이러한 메커니즘을 단순히 구현하는 것만으로는 이끌어내기 확장을 보장하기에 충분하지 않음을 보여줍니다.
강화된 규명: 정리 4.3과 4.4는 이끌어내기 확장에 대한 필요충분조건을 제공합니다. 이 조건들은 가용하고 예산을 감소시키는 방향에 기반한 "전력 특성 조건(power-characterizing condition)"을 포함하는 "강화된" 버전의 메커니즘을 요구합니다. 이 조건은 집계된 출력이 단일 보상 함수가 이를 이끌어낼 수 없도록 하는 방식으로 개별 출력과 견고하게 구별되도록 보장합니다.

3. 실증적 예시

저자들은 GPT-4o-mini(및 기타 모델)를 사용하여 토이 **참조 생성 작업(reference-generation task)**을 통해 이론적 발견을 실증적으로 검증합니다.

과제: 특정 주제 균형을 반영하는 논문 참조 목록 생성.
설정: 시스템 설계자는 높은 수준의 주제(거친 특징)로 모델에 프롬프트를 제공하고, 합집합(합산) 또는 교집합(교집합)을 통해 결과 목록을 집계합니다.
결과: 실험을 통해 각 메커니즘을 구현하는 집계 연산을 성공적으로 구축했습니다. 각 경우에서 집계된 출력은 단일 모델에 의해 이끌어낼 수 있는 가장 가까운 출력보다 목표에 훨씬 더 근접했습니다. 이는 집계가 프롬프트 엔지니어링과 모델 역량의 한계를 모두 극복할 수 있음을 확인시켜 줍니다.

결과 및 의의

본 논문은 집계에 의존하는 복합 AI 시스템의 힘이 자동적인 것이 아니라, 출력 공간의 기하학적 구조와 보상 명세의 한계에 의해 근본적으로 제약된다는 결론을 내립니다.

이론적 통찰: 본 연구는 집계가 이끌어낼 수 있는 출력의 집합을 언제 확장하는지를 완전히 규명합니다. 집계는 단일 에이전트 프롬프팅이 접근할 수 없는 특정 기하학적 특성(가용성, 서포트, 또는 결합 집합)을 활용할 때만 유익하다는 것을 입증합니다.
실무적 시사점: 시스템 설계자는 이러한 메커니즘을 사용하여 복합 시스템이 단일 모델보다 뛰어난 성능을 낼지 여부를 판단할 수 있습니다. 예를 들어, 모델에 역량 제한(원뿔 제약 조건)이 없다면 교집합 집계는 힘을 발휘하지 못할 수 있지만, 합산 집계는 서포트 확장을 통해 여전히 이점을 제공할 수 있습니다.
강건성: 실증적 결과는 이러한 이론적 메커니즘이 선형 가정(예: 0이 아닌 온도를 가진 확률적 LLM)을 넘어 확장될 때도 유지됨을 시사합니다.

본 논문은 동종의 모델을 집계하여 얻을 수 있는 근본적인 한계와 역량을 이해하기 위한 개념적 프레임워크을 제공함으로써, 프롬프트 엔지니어링과 모델 역량의 이중적 한계를 효과적으로 극복하는 복합 AI 시스템을 설계하는 데 기여합니다.