🤖 AI

Efficient LLM Collaboration via Planning

이 논문은 소규모 및 대규모 언어 모델이 다단계 캐스케이드에서 계획자와 실행자로 교대로 작동하는 테스트 시간 협업 프레임워크인 COPE 를 제안하며, 이를 통해 추론 비용을 극적으로 줄이면서도 대규모 독점 모델과 견줄 만한 성능을 달성합니다.

원저자: Byeongchan Lee, Jonghoon Lee, Dongyoung Kim, Jaehyung Kim, Kyungjoon Park, Dongjun Lee, Jinwoo Shin

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Byeongchan Lee, Jonghoon Lee, Dongyoung Kim, Jaehyung Kim, Kyungjoon Park, Dongjun Lee, Jinwoo Shin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

복잡한 작업을 해결해야 한다고 상상해 보세요. 예를 들어 고장 난 엔진을 수리하거나 까다로운 수학 퍼즐을 푸는 경우입니다. 이때 두 명의 도우미를 이용할 수 있습니다:

지역 손기술자: 당신의 차고 바로 옆에 사는 작고, 무료이며, 빠른 작업자입니다. 이들은 간단한 일은 훌륭하게 처리하지만, 때로는 복잡한 문제에 막히기도 합니다.
마스터 건축가: 멀리 떨어진 첨단 기술 타워에 사는 거대하고 비싼 전문가입니다. 이들은 거의 모든 문제를 해결할 수 있지만, 도움을 요청할 때마다 매번 천문학적 비용이 듭니다.

문제는 다음과 같습니다: 모든 작업마다 마스터 건축가를 고용하면 파산하게 됩니다. 반면 지역 손기술자만 사용하면 어려운 작업에서 실패할 수 있습니다.

이 논문은 COPE(Collaborative Planning and Execution, 협력적 계획 및 실행) 라는 새로운 작업 방식을 소개합니다. 이는 돈을 낭비하지 않고 두 작업자가 효율적으로 협력할 수 있도록 하는 스마트한 팀업 시스템과 같습니다.

COPE 의 작동 원리: "먼저 계획하기" 전략

손기술자에게 단순히 "엔진을 고르라"고 요청하고 최선의 결과를 기대하는 대신, COPE 는 계획 단계를 사용합니다. 여기서 "계획"이란 실제 작업이 시작되기 전에 작성된 빠른 고수준의 지도나 일련의 지시사항과 같습니다.

다음은 두 작업자가 협력하는 단계별 과정입니다:

1 단계: 손기술자가 주도권을 잡음
지역 손기술자가 혼자서 전체 작업을 시도합니다. 먼저 스스로를 위한 간단한 "계획"(단순한 목표나 가이드라인) 을 작성한 후, 그 계획에 따라 문제를 해결하려 합니다.

확인: 손기술자가 자신이 정답을 맞혔다고 매우 확신한다면 (예: 세 번 시도했고 모두 같은 답이 나왔다면) 작업을 완료합니다. 이는 무료이고 빠릅니다!
실패: 그들이 확신이 없거나 답이 불안해 보이면 포기하지 않습니다. 2 단계로 진행합니다.

2 단계: 건축가가 지도를 그리고, 손기술자가 건설함
이제 비싼 마스터 건축가가 등장하지만 잠시만 참여합니다. 건축가는 아직 무거운 작업을 수행하지 않습니다. 대신 문제를 바탕으로 새롭고 더 나은 계획(더 명확한 지도) 을 작성합니다.
그들은 이 새로운 계획을 지역 손기술자에게 건네줍니다. 손기술자는 이제 그 계획을 바탕으로 문제를 다시 해결하려 시도합니다.

확인: 건축가의 지도에 따라 손기술자가 확신을 갖게 되면 작업을 완료합니다. 지도를 그리는 데 건축가의 시간을 아주 조금만 사용했으므로 많은 비용을 절약한 것입니다.
실패: 지도를 받았음에도 불구하고 손기술자가 여전히 막히면 3 단계로 에스컬레이션합니다.

3 단계: 건축가가 직접 수행함
첫 두 단계가 작동하지 않으면 마스터 건축가가 마침내 계획과 실행을 모두 직접 수행합니다. 이는 가장 비싼 단계이지만, 절대적으로 필요할 때만 발생합니다.

이것이 중요한 이유

이 논문은 이러한 팀워크가 어떻게 작동하는지에 대해 몇 가지 놀라운 사실을 발견했습니다:

큰 뇌가 작은 뇌를 돕습니다: 마스터 건축가가 손기술자를 위해 계획을 작성할 때, 손기술자는 훨씬 더 똑똑해집니다. 마치 학생이 교수가 전략(계획) 을 설명해 준 후 실제 계산을 학생이 수행하더라도 갑자기 수학 문제를 이해하게 되는 것과 같습니다.
작은 뇌가 큰 뇌를 혼란스럽게 할 수 있습니다: 흥미롭게도, 손기술자가 마스터 건축가를 위해 계획을 작성하면 오히려 건축가의 수행 능력이 떨어집니다. 건축가는 매우 똑똑하기 때문에 손기술자가 작성한 단순하고 품질이 낮은 계획이 실제로는 그들을 방해할 수 있습니다. 이것이 바로 이 시스템이 건축가가 손기술자를 위해만 계획을 세우고 그 반대는 하지 않도록 설계된 이유입니다.
품질은 유지하면서 비용을 절감합니다: 수학, 코딩, 그리고 복잡한 에이전트 작업 (예: 집 안을 항해하는 로봇) 을 포함한 테스트에서 COPE 는 마스터 건축가 단독 사용과 동등하거나 오히려 더 좋은 결과를 달성했습니다. 그러나 비싼 건축가는 가장 어려운 부분이나 지도를 그리는 경우에만 호출되었기 때문에 비용은 45% 에서 75%까지 절감되었습니다.

결론

COPE 는 지역 작업자에게 일을 맡길 때, 전문가에게 빠른 팁 (계획) 을 요청할 때, 그리고 전문가에게 전체 작업을 맡길 때를 아는 스마트한 관리자처럼 작동합니다. 작은 모델과 큰 모델 사이의 가벼운 다리 역할을 하는 "계획"을 활용함으로써, 두 모델이 효율적으로 협력하여 예산을 파산시키지 않고도 어려운 문제를 해결할 수 있게 합니다.

기술 요약: 계획을 통한 효율적인 LLM 협업 (COPE)

문제 제기

대형 언어 모델 (LLM) 은 능력과 계산 비용 사이에 치명적인 트레이드오프에 직면해 있습니다. 대형 독점 모델은 복잡한 작업에서 최첨단 성능을 달성하지만, 추론 비용이 막대하여 많은 애플리케이션에서 빈번한 사용이 비현실적입니다. 반면, 작고 오픈소스 모델은 비용 효율적이며 엣지 장치에 쉽게 배포할 수 있지만, 복잡한 문제를 독립적으로 해결할 능력이 부족한 경우가 많습니다. 기존 비용 인식 추론 방법 (예: LLM Cascade, ABC 와 같은 다단계 캐스케이드) 은 일반적으로 독립적인 위임 방식으로 작동합니다. 즉, 작은 모델이 작업을 시도하고 신뢰도 검사에 실패하면 전체 작업을 더 큰 모델로 넘깁니다. 이러한 접근 방식은 단계 내에서 구조화된 상호작용적 협업을 결여하여 복잡한 작업을 공동으로 해결하는 능력을 제한합니다.

방법론: COPE 프레임워크

저자들은 COPE(Collaborative Planning and Execution, 협업 계획 및 실행) 를 제안합니다. 이는 작은 모델과 큰 모델 간의 상호작용을 계획을 통해 구조화하는 추론 시 협업 프레임워크입니다. 작업을 직접 실행하는 대신, 모델이 먼저 목표나 지침과 같은 고수준 추상화 (계획) 를 생성하여 하위 실행자를 안내하는 경량 중간체로 활용합니다.

COPE 는 3 단계 적응형 캐스케이드로 작동합니다:

1 단계 (작은 모델 계획 및 실행): 작은 모델이 계획자이자 실행자 역할을 합니다. $n$ 개의 목표 유형 계획을 샘플링하고 해당 솔루션을 생성합니다. 시스템은 다수결 투표를 통해 답변을 집계합니다. 합의 비율 (가장 빈번한 답변에 동의하는 샘플의 비율) 이 임계값 $\tau_1$ 을 초과하면 답변이 승인됩니다. 그렇지 않으면 문제가 상향 조정됩니다.
2 단계 (큰 모델 계획, 작은 모델 실행): 1 단계가 실패하면 큰 모델이 새로운 지침 유형 계획을 생성합니다. 그런 다음 작은 모델은 1 단계의 원래 계획과 큰 모델의 새로운 계획을 모두 활용하여 실행을 재시도합니다. 새로운 솔루션을 생성하고 다시 다수결 투표를 적용합니다. 합의 비율이 두 번째 임계값 $\tau_2$ 를 초과하면 답변이 승인되고, 그렇지 않으면 상향 조정됩니다.
3 단계 (큰 모델 계획 및 실행): 2 단계가 실패하면 큰 모델이 전체를 통제하여 2 단계에서 생성된 계획을 재사용하여 작업을 직접 실행합니다.

주요 기술적 특징:

학습 불필요 (Training-Free): COPE 는 미세 조정이 필요 없으며 추론 시 프롬프트 엔지니어링에만 의존합니다.
적응형 컴퓨팅: 프레임워크는 동적으로 자원을 할당하여 쉬운 작업은 작은 모델로 처리하고 어려운 작업만 큰 모델로 상향 조정합니다.
작업별 신뢰도: 신뢰도 지표는 작업 유형에 맞게 조정됩니다:
- 수학적 추론: 추출된 답변에 대한 다수결 투표.
- 코드 생성: 숨겨진 테스트 케이스에서의 통과율 (출력이 하나라도 통과하면 선택됨).
- 개방형 작업: 퍼플렉시티 최소화 (가장 낮은 퍼플렉시티를 가진 출력 선택; 퍼플렉시티가 너무 높으면 상향 조정).
- 에이전트 작업: 행동 단계에 대한 다수결 투표.

주요 기여

프레임워크 제안: 작은 모델과 큰 모델이 서로의 사고를 지지 (scaffold) 할 수 있도록 계획이 교차 모델 협업의 매개체로 활용되는 추론 시 프레임워크인 COPE 도입.
학습 불필요 효율성: 이 방법은 학습 불필요 및 퓨샷 (few-shot) 불필요하며 프롬프트만 필요하므로 다양한 작업에 쉽게 배포 가능.
성능 - 비용 트레이드오프: 대형 독점 모델의 성능을 달성하거나 능가하면서 추론 비용을 극적으로 절감할 수 있는 능력 입증.
광범위한 적용성: 수학적 추론, 코드 생성, 개방형 생성, 에이전트 작업 전반에 걸쳐 검증되어 계획이 비용 효율적 추론을 위한 효과적인 사전 지식 (prior) 으로 작용함을 보여줌.

실험 결과

저자들은 단일 모델 추론, 표준 캐스케이드 (Vote/Verify), ABC, FrugalGPT 를 포함한 베이스라인과 비교하여 COPE 를 여러 벤치마크에서 평가했습니다.

수학적 추론 (MATH-500): COPE 는 75.8% 정확도를 달성하여 GPT-4o(75.2%) 를 능가했으며, 추론 비용을 약 45% (백만 문제당 5025 달러에서 2766 달러로) 절감했습니다. 큰 모델로 GPT-4o-mini 를 사용할 경우, COPE 는 74.4% 정확도 (큰 모델 단독 73.8% 대비) 를 달성하면서 40% 비용 절감 효과를 보였습니다.
수학적 추론 (AIME-2024): 더 어려운 이 데이터셋에서 COPE 는 40.0% 정확도를 기록하여 모든 베이스라인 중 가장 높았으며, 비용은 가장 낮았습니다 (큰 모델 단독 502 대비 478).
코드 생성 (MBPP): COPE 는 GPT-4o 의 64.0% 대비 정확도를 **66.4%**로 향상시켰으며, 추론 비용을 약 75% 절감했습니다.
개방형 작업 (MT-Bench): COPE 는 큰 모델 베이스라인 대비 44.8% 승률을 기록했습니다 (큰 모델 단독 42.5% 대비), 비용은 현저히 낮았습니다.
에이전트 작업 (ALFWorld): COPE 는 성공률을 **36.9%**로 향상시켰습니다 (큰 모델 35.0% 대비), 비용을 약 29% 절감했습니다.

저자들은 COPE 의 작은 모델 베이스라인 대비 성능 향상이 어려운 문제 (MATH-500 의 Level 5) 에서 가장 두드러지며, 정확도가 15.0 퍼센트 포인트 향상되었다고 지적합니다.

의의 및 주장

이 논문은 계획이 비용 효율적 추론을 위한 효과적인 사전 지식으로 작용한다고 주장합니다. 계획을 통해 협업을 구조화함으로써 COPE 는 전체 작업 위임의 오버헤드 없이 모델들이 고수준의 통찰력을 교환할 수 있게 합니다. 저자들은 이 접근 방식이 대부분의 단계를 작은 모델이 저렴하게 처리하고 더 어려운 결정에 대해 큰 모델이 선택적으로 개입하는 엣지 - 클라우드 및 에이전트 환경과 자연스럽게 부합한다고 강조합니다.

이 연구는 단순히 단일 모델을 더 발전시키거나 독립적인 캐스케이드에 의존하는 대신, 계획을 통한 교차 모델 확장이 실현 가능한 대안임을 시사합니다. 결과는 COPE 가 불필요한 컴퓨팅을 줄이고 성능을 희생하지 않으면서 더 지속 가능한 AI 사용에 기여할 수 있는 광범위하게 효과적이고 확장 가능한 프레임워크임을 나타냅니다.