SolidCoder: Bridging the Mental-Reality Gap in LLM Code Generation through Concrete Execution

1. 문제 정의: 정신 - 현실 간극 (Mental-Reality Gap)

최근 최첨단 코드 생성 프레임워크 (예: CodeSIM) 는 LLM 이 코드의 정확성을 검증하기 위해 **정신적 시뮬레이션 (Mental Simulation)**에 의존합니다. 즉, 모델이 코드 실행을 머릿속으로 추적하여 버그를 찾거나 논리를 검증합니다.

하지만 이 논문은 이러한 접근법의 근본적인 한계를 지적하며 **"정신 - 현실 간극 (Mental-Reality Gap)"**이라는 개념을 제시합니다.

• 현상: LLM 은 복잡한 알고리즘 시나리오에서 실제 프로그램의 동작과 일치하지 않는 실행 경로를 "상상"하거나, 결함이 있는 코드가 올바르게 작동한다고 확신하며 버그를 간과합니다. 이는 마치 눈을 가리고 체스를 두어 말을 움직이지 않고도 승리를 선언하는 것과 같습니다.
• 간극의 두 가지 차원:
  1. 명세 간극 (Specification Gap): 계획 수립 단계에서 엣지 케이스 (edge cases) 를 간과하여 알고리즘 설계 자체가 불완전한 경우.
  2. 검증 간극 (Verification Gap): 결함이 있는 코드에 대해 정신적 시뮬레이션을 통해 잘못된 실행 경로를 상상하고, 이를 정답으로 잘못 검증하는 경우.

기존 연구들은 이 두 가지 문제를 동시에 해결하지 못했으며, 특히 검증 단계에서 LLM 의 환각 (hallucination) 을 방지할 수단이 부족했습니다.

2. 방법론: SolidCoder 및 S.O.L.I.D. 아키텍처

이 문제를 해결하기 위해 저자들은 **"상상하지 말고 실행하라 (Don't imagine—execute)"**는 원칙을 기반으로 SolidCoder를 제안합니다. 이는 정신적 시뮬레이션 대신 **구체적인 실행 (Concrete Execution)**을 검증의 핵심으로 삼는 다중 에이전트 프레임워크입니다.

SolidCoder 는 **S.O.L.I.D.**라는 5 가지 핵심 구성 요소로 이루어진 아키텍처를 사용합니다:

1. Shift-left Planning (S):

   • 목적: 명세 간극 해결.
   • 방식: 알고리즘 설계 (Plan) 를 생성하기 전에 LLM 에게 "어떤 최악의 입력 (엣지 케이스) 이 단순한 해결책을 무너뜨릴 수 있는가?"를 질문하게 합니다. 이를 통해 빈 입력, 경계값, 특수 패턴 등을 사전에 식별하고 계획에 반영하여 견고한 설계를 유도합니다.

2. Oracle-based Assertions (O):

   • 목적: 검증 간극 해결 (정답 없는 상황에서의 검증).
   • 방식: 새로운 문제에서는 정답 (Ground Truth) 을 알 수 없다는 '오라클 문제'가 발생합니다. SolidCoder 는 정확한 출력값을 예측하는 대신, **속성 기반 검증 (Property-based verification)**을 사용합니다. (예: "출력 길이는 입력 길이와 같아야 함", "결과는 입력의 순열이어야 함"). 이를 통해 정답을 알지 못하더라도 코드가 논리적 속성을 만족하는지 실행을 통해 검증할 수 있습니다.

3. Live Execution (L):

   • 목적: 검증 간극 해결 (구체적 실행).
   • 방식: LLM 에게 코드 동작을 상상하게 하는 대신, 샌드박스 환경에서 코드를 실제로 실행합니다. 5 초 타임아웃 및 제한된 파일 시스템 접근을 통해 안전하게 실행하며, 어설션 실패나 런타임 에러 시 디버깅 에이전트에 피드백을 제공합니다.

4. Intermediate Simulation (I):

   • 목적: 비용 효율적인 전처리 필터.
   • 방식: 코드 생성 직후 LLM 에게 간단한 입력에 대한 정신적 추적을 수행하게 하여 명백한 번역 오류를 걸러냅니다. 하지만 최종 판단은 Live Execution 에 의해 이루어지므로, 이 단계는 보조적인 역할을 합니다.

5. Defensive Accumulation (D):

   • 목적: 회귀 (Regression) 방지.
   • 방식: 디버깅 과정에서 발견된 실패한 테스트 케이스를 accumulated_tests 컬렉션에 영구적으로 저장합니다. 코드 수정 시 이전에 통과했던 모든 테스트를 다시 실행하여, 한 버그를 고치는 과정에서 다른 버그가 다시 발생하지 않도록 보장합니다.

3. 주요 기여

1. Mental-Reality Gap 의 체계적 분석: 기존 다중 에이전트 코드 생성 프레임워크의 한계를 '명세 간극'과 '검증 간극'이라는 두 가지 직교하는 차원으로 정의하고 이를 실증했습니다.
2. SolidCoder 프레임워크 제안: S.O.L.I.D. 아키텍처를 통해 두 가지 간극을 동시에 해결하는 새로운 패러다임을 제시했습니다. 특히 Ground Truth 가 없는 상황에서도 속성 기반 오라클을 통해 자율적인 검증을 가능하게 했습니다.
3. SOTA 성능 달성: GPT-4o 를 기반으로 한 실험에서 인간 평가 (HumanEval), 코딩 대회 (CodeContests), APPS 등 주요 벤치마크에서 기존 최첨단 모델 (CodeSIM 등) 을 능가하는 결과를 달성했습니다.

4. 실험 결과

GPT-4o 를 사용하여 세 가지 벤치마크에서 Pass@1 성능을 평가한 결과는 다음과 같습니다:

• HumanEval (쉬움): 95.7% (기존 CodeSIM 대비 +0.6%p 향상). 현재 LLM 이 이미 높은 성능을 보여 추가 개선 폭은 작았으나, SolidCoder 가 여전히 우위를 보였습니다.
• CodeContests (중간): 77.0% (기존 CodeSIM 대비 +4.3%p 향상). 가장 큰 개선을 보인 영역으로, 정신적 시뮬레이션이 불안정해지고 실행 기반 검증이 효과적으로 작동하는 "적정 난이도" 영역임을 입증했습니다.
• APPS (어려움): 26.7% (기존 CodeSIM 대비 +3.4%p 향상). 매우 어려운 문제에서는 생성 단계의 한계가 주된 병목이지만, 여전히 검증 개선이 유의미한 성능 향상을 가져왔습니다.

Ablation Study (성분 제거 실험) 결과:

• Shift-left Planning (S) 제거: 성능이 -23.7%p 급감. 엣지 케이스 인식 부재가 알고리즘 문제에서 가장 큰 실패 원인임을 보여줍니다.
• Live Execution (L) 제거: 성능이 -7.9%p 감소. 정신적 시뮬레이션이 버그를 놓치는 경우를 구체적 실행이 잡아낸다는 것을 입증합니다.
• 결론: S 와 L 은 상호 보완적이며, 두 가지 간극을 모두 해결해야만 최적의 성능을 달성할 수 있습니다.

5. 의의 및 결론

SolidCoder 는 LLM 기반 코드 생성 분야에서 생성 능력의 향상뿐만 아니라 자기 평가 (Self-evaluation) 능력의 강화가 다음 단계의 핵심 병목임을 시사합니다.

• 실용적 가치: "상상"에 의존하던 검증 방식을 "실행"으로 전환함으로써, LLM 이 스스로의 환각을 극복하고 더 신뢰할 수 있는 코드를 생성할 수 있게 합니다.
• 확장성: RL 후학습 (Post-training) 을 거친 모델 (GPT-OSS, Grok 등) 에도 동일한 성능 향상을 보였으며, 이는 제안된 방법이 모델 아키텍처나 학습 방식에 구애받지 않는 보편적인 해결책임을 의미합니다.
• 미래 방향: 난이도에 따라 검증 강도를 조절하는 라우팅 전략이나, 리포지토리 수준의 복잡한 작업으로의 확장을 통해 자율 에이전트의 신뢰성을 더욱 높일 수 있을 것으로 기대됩니다.

이 연구는 코드 생성 AI 가 단순히 코드를 작성하는 것을 넘어, 실제 환경에서 검증 가능한 코드를 생성하는 방향으로 진화해야 함을 강력히 주장합니다.