🤖 AI

COMPAS: Difficulty-Aware Joint Search for Optimizing Code Generation

COMPAS는 특정 작업 난이도 그룹에 대해 최적의 모델, 프롬프트 및 디코딩 설정을 공동으로 탐색함으로써 코드 생성을 최적화하는 난이도 인지 프레임워크로, LiveCodeBench 및 SWE-bench와 같은 벤치마크에서 통과율과 비용 효율성 모두에서 상당한 개선을 달성했습니다.

원저자: Jingzhi Gong, Jie M. Zhang, Gunel Jahangirova, Dong Huang, Mohammad Reza Mousavi, Mark Harman

게시일 2026-08-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jingzhi Gong, Jie M. Zhang, Gunel Jahangirova, Dong Huang, Mohammad Reza Mousavi, Mark Harman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 완벽한 케이크를 굽기 위해 노력하고 있다고 상상해 보세요. 하지만 당신에게는 말을 할 수 있는 마법의 오븐이 있습니다. 컴퓨터 과학의 세계에서 이 '오븐'은 거대 언어 모델(LLM)입니다. 이는 인간 프로그래머처럼 컴퓨터 코드를 작성할 수 있는 매우 똑똑한 AI입니다. 최고의 케이크를 얻으려면 세 가지를 선택해야 합니다: 어떤 오븐을 사용할지(모델), 어떤 레시피를 줄지(프롬프트), 그리고 온도와 타이머를 어떻게 설정할지(디코딩 설정)입니다. 오랫동안 과학자들은 단순한 컵케이크부터 복잡한 웨딩 케이크 층에 이르기까지 모든 종류의 케이크에 통용될 수 있는 단 하나의 완벽한 레시피와 오븐 설정을 찾으려고 노력했습니다. 하지만 그들은 문제에 부딪혔습니다. 컵케이크를 폭신하게 만드는 설정이 웨딩 케이크를 태워버릴 수도 있고, 밀가루 값을 아끼려는 설정이 맛을 망칠 수도 있다는 점이었습니다. 큰 질문은 이것이었습니다: 모든 가능성을 시도하느라 엄청난 돈이나 시간을 쓰지 않고, 어떻게 각 특정 작업에 맞는 완벽한 조합을 찾아낼 것인가?

여기에 새로운 방법론인 COMPAS가 등장했습니다. 이 방식은 영리하고 예산을 아낄 줄 아는 헤드 셰프처럼 행동합니다. 모두에게 적용되는 하나의 규칙을 추측하는 대신, COMPAS는 서로 다른 작업들이 서로 다른 "난이도"를 가지고 있다는 점을 깨달았습니다. 이 방식은 우리가 작업을 "쉬움", "중간", "어려움"과 같이 그룹으로 나누고, 각 그룹에 맞는 고유하고 완벽한 레시피를 찾아야 한다고 제안합니다. 연구진은 프롬프트(지시 사항)와 디코딩 설정(오븐 다이얼)이 따로가 아닌 함께 조정될 때 가장 잘 작동하며, 한 AI 모델에 효과적인 설정이 다른 모델에는 실패할 수도 있다는 것을 발견했습니다. 이들은 스마트한 2단계 프로세스—먼저 작업에 적합한 오븐을 고른 다음, 레시피와 다이얼을 함께 미세 조정하는 방식—를 사용하여 각 난이도 그룹을 위한 "메뉴"를 구축했습니다. 새로운 작업이 들어오면, COMPAS는 즉시 그 작업의 난이도를 확인하고, 해당 그룹에 맞는 완벽하게 준비된 메뉴를 골라 작업을 시작합니다.

실험에서 이 접근 방식은 큰 성공을 거두었습니다. LiveCodeBench라고 불리는 코딩 문제 테스트 세트에서, COMPAS는 이전의 최고 방법이 45.9%에 도달했던 것에 비해 더 높은 52.8%의 정답률을 기록했습니다. 더욱 놀라운 점은, 이 과정에서 비용을 대폭 절감했다는 것입니다. 비용은 36.57달러에서 단 4.92달러로 떨어졌습니다. 또한, 전체 소프트웨어 프로젝트의 버그를 수정하는 더 복잡한 도전 과제인 SWE-bench에서도 76.0%의 작업을 해결하며 기존의 가장 뛰어난 방법들을 다시 한번 앞질렀습니다.

COMPAS의 비결은 바로 "난이도 인지형(difficulty-aware)" 전략입니다. 연구진은 실험을 통해 세 가지 핵심적인 사실을 발견했습니다. 첫째, 지시 사항과 오븐 설정은 서로 상호작다; 두 가지를 함께 변경하는 것이 하나씩 따로 변경하는 것보다 더 나은 결과를 낳습니다. 둘째, 한 AI 모델을 돕는 미세 조정이 다른 모델에는 오히려 해가 될 수 있으므로, 조정을 시작하기 전에 모델을 신중하게 선택해야 합니다. 셋-째, 가장 중요한 점은, 쉬운 문제에 대한 "최적의" 설정은 어려운 문제에 대한 "최적의" 설정과 완전히 다르다는 것입니다. 전역적인, 일률적인 방식은 통하지 않습니다.

이를 해결하기 위해 COMPAS는 2단계 계획을 사용합니다. 오프라인 단계(준비 단계)에서, 이는 모든 훈련 작업을 난이도에 따라 그룹으로 나눕니다. 그런 다음 빠르고 저렴한 테스트를 실행하여 각 그룹에 가장 적합한 AI 모델을 선택합니다. 모델이 선택되면, "공동 탐색(joint search)" 모드로 들어가 스마트한 피드백 루프를 사용하여 프롬프트와 디코딩 설정을 동시에 조정합니다. 단순히 무작위 조합을 시도하는 것이 아니라, 실수와 성공으로부터 배우며 각 난이도 그룹을 위한 "품질-비용 프런티어(quality-cost front)"—즉, 좋은 결과와 비용 절감 사이의 최적의 절충안 목록—를 구축합니다.

온라인 단계(실시간 요리)에서는 새로운 작업이 들어왔을 때 검색하는 데 시간을 낭비하지 않습니다. 단순히 작업의 난이도 라벨을 확인하고, 일치하는 그룹을 찾아, 그 그룹의 미리 만들어진 메뉴에서 최적의 구성을 선택합니다. 이는 마치 완벽하게 튜닝된 레시피가 준비된 도서관을 가진 것과 같아서, 매번 처음부터 시작할 필요가 없습니다.

이 논문은 이 방법이 견고하다는 것을 보여줍니다. 무작위 시드(예를 들어 카드를 섞는 방식을 다르게 하는 것)를 변경하거나 다른 유형의 AI 모델로 테스트했을 때도, COMPAS는 일관되게 다른 방법들을 능가했습니다. 또한 난이도별로 작업을 나누는 것이 매우 중요하다는 점도 입증했습니다. 만약 난이도 수준을 무시하고 모든 것에 하나의 설정을 사용하려 한다면, 결과는 크게 떨어질 것입니다. 현재 이 방법은 AI 모델들이 같은 "가문"에 속해 있을 때 가장 잘 작동하지만, 연구진은 이 접근 방식이 향후 확장될 수 있다고 제言합니다. 현재로서는, COMPAS는 적절한 설정을 찾는 데 있어 얼마나 스마트하게 검색하느냐가 설정 그 자체만큼이나 중요하다는 것을 보여주는 강력한 증거입니다.

기술 요약: COMPAS

문제 정의

대규모 언어 모델(LLM)을 활용한 코드 생성 시스템은 매 추론 호출 시마다 세 가지 핵심적인 구성 선택을 수행해야 합니다: 모델, 프롬프트, 그리고 디코딩 설정(예: temperature, top-p, frequency penalty). 기존의 최적화 방식들은 다음과 같은 상당한 한계를 가집니다:

글로벌 최적화 도구 (예: EcoTune, EcoOptiGen)는 모든 태스크에 적용 가능한 단일 구성을 탐색하며, 태스크 난이도에 따라 최적의 설정이 달라진다는 점을 간과합니다.
라우터 (예: RouteLLM)는 프롬프트와 디코딩 설정을 고정시킨 채 모델만 선택합니다.
프롬프트 최적화 도구 (예: GEPA)는 모델과 디코딩 설정을 고정한 채 프롬프트만을 튜닝합니다.

이러한 파편화는 모델, 프롬프트, 디코딩 설정 사이의 **결합된 그룹별 상호작나용(joint, group-specific interactions)**을 불분명하게 만듭니다. 또한, 구성 공간(configuration space)을 무차별 대입(brute-force) 방식으로 탐색하는 것은 계산적으로 불가능에 가깝습니다. 예를 들어, 10개의 프롬프트, 2개의 모델, 3개의 디코딩 설정 값(각 10개씩), 3개의 난이도 그룹을 대상으로 검색하면 60,000개의 후보가 생성되며, 이를 직렬로 평가하는 데에는 20일 이상이 소요됩니다.

경험적 동기

저자들은 COMPAS의 설계를 가이드하는 패턴을 식별하기 위해 LiveCodeBench release-v5 세트(880개 태스크)를 사용하여 DeepSeek-V3 및 DeepSeek-V3.2를 대상으로 대규모 경험적 연구를 수행했습니다. 세 가지 주요 관찰 결과가 도출되었습니다:

프롬프트와 디코딩은 상호작용한다: 최적의 결합 구성(72.2% Pass@1)은 최적의 프롬프트 전용(64.3%) 또는 디코딩 전용(64.9%) 구성보다 성능이 현저히 높았습니다. 이는 독립적인 튜닝이 아닌 결합 탐색이 필요함을 시사합니다.
결합 튜닝은 모델 의존적이다: 한 모델(예: DeepSeek-V3, 76.3%에서 77.2%로 개선)을 개선하는 프롬프트-디코딩 업데이트가 다른 모델(예: DeepSeek-V3.2, 74.0%에서 72.1%로 저하)의 성능을 떨어뜨릴 수 있습니다. 이는 검색 공간을 줄이기 위해 모델 선택이 조인 튜닝보다 선행되어야 함을 의미합니다.
최적의 구성은 그룹마다 다르다: 특정 난이도 그룹을 위한 최적의 구성(평균 62.4% Pass@1)은 기본 구성(54.1%)과 최적의 단일 글로벌 구성(53.4%)보다 우수합니다. 이는 단일 글로벌 프런트(front)는 최적이 아니며, 서로 다른 난이도 그룹을 위한 별도의 품질-비용 프런트가 필요함을 나타냅니다.

방법론: COMPAS 프레임워크

COMPAS(Code-generation Optimization over Models, Prompts, And Decoding Settings)는 오프라인 탐색과 온라인 라우팅을 분리한 2단계 난이도 인지 방식입니다.

1. 오프라인 탐색 단계 (Offline Search Phase)

훈련 세트와 고정된 토큰 예산이 주어지면, COMPAS는 벤치마크 레이블(예: LiveCodeBench의 Elo rating, SWE-bench의 예상 수정 시간)을 기반으로 태스크를 난이도 그룹(Easy, Medium, Hard)으로 나눕니다. 그 후 각 그룹을 다음 두 단계로 최적화합니다:

1단계: 빠른 모델 선택 (Fast Model Selection):
- COMPAS는 고정된 기본 프롬프트와 디코딩 설정을 사용하여 태스크의 작은 무작위 서브셋(그룹당 최대 8개 문제로 제한)에서 후보 모델들을 조사합니다.
- 비용 인식 규칙을 사용하여 각 그룹의 승리 모델( $m^*_g$ )을 선택하며, 이때 가중치 $\alpha_g$ (Easy는 0.2, Medium은 0.5, Hard는 0.8)를 사용하여 품질과 비용의 균형을 맞춥니다.
- 이 과정은 후속 탐색 공간을 그룹당 하나의 모델로 축소합니다.
2단계: 프롬프트 및 디코딩 설정의 결합 튜닝 (Joint Tuning of Prompt and Decoding Settings):
- 선택된 모델을 사용하여, COMPAS는 프롬프트와 디코딩 설정(temperature, top-p, frequency penalty)을 공동으로 변이(mutate)시키는 성찰적 탐색(reflective search)을 수행합니다.
- 성찰 루프 (Reflection Loop): LLM이 실패/성공 패턴, 탐색 이력, 현재의 파레토 프런트를 포함하는 압축된 컨텍스트를 분석하여 새로운 후보 구성을 제안합니다.
- 미니 배치 평가 (Mini-batch Evaluation): 후보들은 과적합을 방지하기 위해 탐색 풀(search pool)과 홀드아웃 풀(held-out pool)에서 미니 배치로 평가됩니다. 후보는 성능을 저하시키지 않으면서 점수를 개선하거나 비용을 줄이는 경우에만 수락됩니다.
- 파레토 프런트 구축 (Pareto Front Construction): 수락된 후보들은 파레토 최적(Pareto-optimal)인 경우 그룹별 품질-비용 프런트( $F_g$ )에 추가됩니다.

2. 온라인 테스트 단계 (Online Testing Phase)

배포 중에는 추가적인 탐색이 수행되지 않습니다.

라우팅 (Routing): 태스크 $x$ 는 기존 벤치마크 레이블을 사용하여 해당 난이도 그룹 $g(x)$ 에 할당됩니다.
선택 (Selection): 시스템은 1단계에서 설정된 동일한 가중치 $\alpha_g$ 를 사용하여 정규화된 품질-비용 트레이드오프를 최대화하는 구성을 $F_{g(x)}$ 에서 선택합니다.
폴백 (Fallback): 특정 그룹의 프런트가 비어 있는 경우, 시스템은 더 거친(coarser) 난이도 프런트나 기본 구성으로 폴백합니다.

주요 기여

경험적 특성화: 본 논문은 프롬프트-디코딩 상호작작용이 유의미하며, 튜닝 효과는 모델별로 다르고, 최적의 구성은 태스크 난이도에 따라 다르다는 증거를 제공합니다.
난이도 인지 탐색: 단일 글로벌 프런트를 구축하는 방식과 달리, COMPAS는 문제를 그룹으로 나누고 각 그룹을 위한 별도의 품질-비용 프런트를 구축하여 특화된 최적화를 가능하게 합니다.
2단계 효율적 탐색: COMPAS는 저렴한 모델 프로브와 LLM 기반의 성찰 루프를 결합하여 프롬프트-디코딩 결합 최적화를 수행함으로써 탐색 공간을 실행 가능한 수준으로 만듭니다.

실험 결과

이 방법은 LiveCodeBench(함수 수준 및 저장소 수준 코드 생성)와 SWE-bench Verified-mini에서 평가되었습니다.

LiveCodeBench (v6-only): 동일한 탐색 예산(1M 토큰) 하에서, COMPAS는 $4.92의 비용으로 52.8%의 Pass@1을 달성했습니다. 이는 가장 우수한 베이스라인인 EcoTune(45.9% Pass@1, 비용 $36.57)을 능가하는 결과입니다. COMPAS는 품질을 6.9 퍼센트 포인트 향상시키면서 비용을 7.4배 절감했습니다.
강건성 (Robustness): 결과는 독립적인 무작위 분할 및 여러 무작위 시드에 걸쳐 일관되게 나타났습니다. COMPAS는 5개의 서로 다른 시드 모두에서 Pass@1과 비용 측면에서 지속적으로 우위를 점했습니다.
일반화 (Generalization):
- SWE-bench에서 COMPAS는 **76.0%**의 태스크(38/50)를 해결하여, 가장 우수한 베이스라인(70.0%)을 넘어섰습니다 (단, 더 강력한 모델로 더 많은 태스크를 라우팅함에 따라 비용은 더 높음).
- 다양한 모델 제품군(DeepSeek, Devstral, Qwen3.5)에 걸쳐, COMPAS는 일반적으로 베이스라인보다 우수한 성능을 보였으며, 특히 Qwen3.5(40.6% Pass@1)에서 두드러졌습니다.
절제 연구 (Ablation Studies): 구성 요소(예: 태스크 그룹화, 모델 선택, 결합 탐색) 중 하나라도 제거하면 성능이 저하되었습니다. 태스크 그룹화가 가장 중요한 구성 요소로 확인되었으며, 이를 제거하면 Pass@1이 39.4%로 떨어져 기본 베이스라인보다 낮아졌습니다.

의의 및 주장

본 논문은 태스크 난이도에 따라 모델, 프롬프트, 디코딩 설정을 결합하여 선택하는 것이 라우터, 글로벌 튜너, 또는 프롬프트 전용 최적화 도구보다 우수한 품질-비용 트레이드오프를 제공한다는 것을 입증한다고 주장합니다.

저자들은 자신들의 접근 방식이 수동으로 설계된 구성이 아닌 실행 피드백에 의존하는 소프트웨어 공학 기반 탐색(search-based software engineering) 솔루션임을 강조합니다. 또한 실험에 사용된 고정된 하네스(harness)에 결과가 국한되어 있으며, 주요 한계점은 풀(pool)당 두 개의 동일 계열 LLM만을 테스트했다는 점이라고 언급했습니다. 저자들은 향-후 연구를 통해 이를 교차 계열 탐색으로 확장할 수 있을 것이라고 제안합니다. 이 논문은 일반적인 코드 생성 문제를 해결한다고 주장하는 것이 아니라, 기존 생성 프레임워크 내에서의 구성 전략을 최적화하는 것에 초점을 맞추고 있습니다.