Can Vibe Coding Beat Graduate CS Students? An LLM vs. Human Coding Tournament on Market-driven Strategic Planning

기술 요약: 바이브 코딩(Vibe Coding)이 대학원 컴퓨터공학생을 이길 수 있는가?

문제 정의
본 논문은 코드 생성에 관한 대규모 언어 모델(LLM) 평가의 결정적인 공백을 다룹다. 기존의 벤치마크(예: HumanEval, APPS)는 구문론적 정확성과 단위 테스트 통과율에 초점을 맞추고 있어, 실제 소프트웨어 엔지니어링의 복잡성을 포착하지 못한다. 이러한 실제 시나리오에는 다중 에이전트의 전략적 상호작용, 장기적 계획 수립, 제약 조건 최적화 및 고급 알고리즘 설계가 요구된다.

이 간극을 메우기 위해 저자들은 **경매, 픽업 및 배송 문제(Auction, Pickup, and Delivery Problem, APDP)**를 도입한다. 이는 물류 최적화 시나리오에 기반한 다중 에이전트, 추론 중심의 벤치마크이다. APDP의 구조는 다음과 같다:

• 컨텍스트: 여러 운송 회사(에이전트)가 역 1차 밀봉 입찰(reverse first-price sealed-bid auction)을 통해 과업(소포)이 판매되는 시장에서 경쟁한다.
• 메커니즘: 에이전트는 미래의 과업 분포를 알지 못한 채 과업에 입찰해야 하며, 그 후 차량 용량 제약 조건 하에서 낙찰받은 과업들에 대해 정적인 픽업 및 배달 문제(PDP)를 해결해야 한다.
• 목표: 목표는 낙찰된 입찰가의 합계에서 운송 비용(거리 × km당 비용)을 뺀 총 이익을 극대화하는 것이다.
• 복잡성: 이 문제는 NP-hard 문제이며, 비협력적 다중 에이전트 시스템(경매 전략)과 협력적 다중 에이전트 시스템(함대 경로 최적화), 그리고 제약 조건 최적화를 포함한다. 에이전트는 엄격한 시간 제한 내에서 상대방을 모델링하고, 한계 비용을 계산하며, 전략적 결정(예: 향의 경로 시너지를 확보하기 위해 낮은 가격으로 입찰하는 것)을 내려야 한다.

방법론
본 연구는 통제된 토너먼트 환경에서 최첨단 LLM의 능력을 인간이 작성한 에이전트와 비교 평가한다.

1. 참가자:
   • 인간 에이전트: 현대적 LLM이 등장하기 전에 개발된 17개의 에이전트. 여기에는 EPFL의 지능형 에이전트 강의에서 대학원생들이 2~3주 동안 문제를 해결하도록 주어진 12개의 에이전트와 5개의 베이스라인 에이전트(AI 연구소 연구원 개발)가 포함된다.
   • LLM 에이전트: 네 가지 주요 LLM(OpenAI의 GPT-5 Thinking, Google의 Gemini 2.5 Pro, Anthropic의 Claude Opus 4.1, DeepSeek의 DeepThink R1)에 의해 생성된 40개의 에이전트.
2. 프롬프트 전략: 각 LLM은 다양한 수준의 "바이브 코딩"(자연어를 코드로 변환)을 시뮬레이션하기 위해 다섯 가지 별도의 프롬프팅 방법론으로 테스트되었다:
   • 학생들에게 제공된 것과 동일한 지침을 제공하는 두 가지 저자 생성 프롬프트 (A1, A2).
   • 반복적 정교화(Iterative Refinement, IR): 자기 재생 피드백 루프.
   • LLM을 비평가로 활용(LLM as a Critic, CR): 더 강력한 모델을 사용하여 생성된 에이전트를 비평하고 개선함.
   • GPT-5 생성 프롬프트(GPT-5 Generated Prompt, GEN): 프롬프트 자체를 최적화하기 위해 GPT-5를 사용함.
3. 실험 설정:
   • 토너먼트: 네 가지 서로 다른 네트워크 토폴로지(스위스, 프랑스, 영국, 네덜란드)에 걸쳐 12회의 더블 올 플레이 올(double all-play-all) 토너먼트가 진행되었다.
   • 규모: 약 40,000회의 매치가 수행되었다. 각 매치에서 에이전트들은 1대1로 경쟁하며, 공정성을 보장하기 위해 서로 다른 회사 함대의 제어권을 교체하며 경쟁했다.
   • 디버깅: 인간 에이전트(있는 그대로 평가됨)와 달리, LLM 에이전트는 구문 및 의미론적 오류를 수정하여 버그가 없는 상태가 될 때까지 엄격한 디버깅 사이클을 거쳤다. 이는 평가의 초점을 구현상의 버그가 아닌 알고리즘적 역량에 맞추기 위함이다.

주요 결과
결과는 이 복잡하고 전략적인 영역에서 인간이 코딩한 에이전트가 LLM이 코딩한 에이전트보다 명확하게 우월함을 보여준다:

1. 인간의 우위: 토너먼트 순위의 상위 5개 자리는 일관되게 인간이 코딩한 에이전트(특히 학생 에이전트)가 차지했다.
2. LLM의 저조한 성적: 40개의 LLM 에이전트 중 대다수(33개)가 매우 단순한 베이스라인 인간 에이전트(예: 고정 평균 비용을 사용하여 입찰하는 "ExpCostFixedBid")에게 패배했다.
3. 추론 결함:
   • 더 간단한 변형 문제(예: A* 탐색)를 포함한 예비 테스트에서, LLM은 명시적인 지침에도 불구하고 허용 가능한 휴리스틱(admissible heuristics)과 같은 근본적인 요구 사항을 구현하는 데 자주 실패했다.
   • LLM은 시간 제한 위반, 낙찰된 과업 미배송, 또는 용량 제약 무시와 같은 의미론적 버그로 어려움을 겪었으며, 이를 해결하기 위해 상당한 수동 개입이 필요했다.
4. 기존 솔루션의 퇴보: 역설적인 발견으로서, 가장 성능이 좋은 LLM(GPT-5)에게 승리한 인간 에이전트의 코드를 주고 이를 "개선"하라고 요청했을 때, 결과물인 에이전트는 1위에서 10위로 떨어지며 성능이 현저히 저하되었다. 이는 LLM이 복잡하고 작동하는 솔루션을 정교화하기 위해 인컨텍스트 러닝(in-context learning)을 효과적으로 활용하는 데 어려움이 있음을 시사한다.

의의 및 주장
본 논문은 기존의 코딩 벤치마크(구문과 단위 테스트를 우선시하는)의 높은 성능이 전략적 추론과 최적화가 필요한 실제 문제를 해결하는 능력으로 직결되지 않는다고 주장한다.

• 현재 벤치마크의 한계: 저자들은 현재의 지표가 실제 엔지니어링 작업의 난이도를 과소평가하고 있다고 주장한다. APDP 벤치마크는 LLM이 코드를 실행할 수는 있지만, 경쟁력 있는 코드를 생성하는 데는 실패할 수 있음을 강조한다.
• 바이브 코딩의 간극: 본 연구는 대학원 수준 또는 전문적인 엔지니어링 작업(다중 에이전트 전략 포함)을 수행함에 있어 "바이브 코딩"(자연어 프롬프트를 사용하여 복잡한 소프트웨어를 생성하는 것)의 효용성에 의문을 제기한다.
• 행동 촉구: 이 연구는 "추론 중심의 코드 합성" 벤치마크로의 전환을 독려한다. 저자들은 단순히 기능적 정확성을 넘어 계획 수립, 상대방 모델링, 그리고 개방형 실제 시나리오에서의 전략적 상호작용을 강조하는 평가를 옹호한다.

저자들은 자신들의 주장에 대해 겸허한 태도를 유지하며, 특정 모델의 리더보드를 만들거나 최적의 프롬프팅 전략을 찾아냈다고 주장하는 것이 아님을 밝힌다. 대신, 현재 역량의 대표적인 샘플을 제시하며, LLM이 인상적인 도구이기는 하지만, 복잡하고 경쟁적인 최적화 문제에서 숙련된 인간 엔지니어를 능가할 정도의 전략적 깊이는 아직 부족하다는 결론을 내린다.