From LLMs to Agents in Programming: The Impact of Providing an LLM with a Compiler

기술 요약: 프로그래밍에서의 LLM에서 에이전트로의 전환: 컴파일러 제공가 LLM에 미치는 영향

문제 정의
대규모 언어 모델(LLM)은 자연어 프롬프트로부터 코드를 생성하는 데 있어 상당한 능력을 입증해 왔다. 그러나 결정적인 한계는 생성 과정이 검증을 위한 오라클(oracle) 없이 신경망 확률에만 의존하는 단방향적이라는 점이다. 결과적으로 생성된 코드는 컴파일에 실패하거나 구조적 및 기능적 품질이 결여되는 경우가 많다. 현재의 완화 전략은 모델 크기를 키우거나, 코드에 대한 미세 조정(fine-tuning)을 수행하거나, 검색 증강 생성(RAG)을 사용하는 것을 포함하지만, 이러한 접근 방식은 상당한 계산 자원을 요구하며 품질 보증의 부재를 본질적으로 해결하지는 못한다. 본 논문은 LLM을 외부 소프트웨어 개발 도구, 특히 컴파일러와 상호작용할 수 있는 "에이전트"로 변환하는 것이 대규모 모델 스케일링을 필요로 하지 않으면서도 생성과 실행 가능성 사이의 간극을 메울 수 있다고 상정한다.

방법론
저자들은 코드 생성 루프에 컴파일러를 통합하는 것이 미치는 영향을 평가하기 위해 계산 실험을 수행했다.

• 데이터셋: 연구는 RosettaCode 데이터셋 중 C 언어 솔루션이 있는 699개의 태스크 하위 집합을 활용했다. 태스크는 단순한 함수부터 복잡한 알고리즘까지 다양했다.
• 모델: 16개의 LLM을 평가하였으며, 이는 1억 3,500만 개에서 700억 개의 파라미터 범위를 포괄한다.
• 실험 설정:
  • 베이스라인: 모델들이 단 한 번의 시도로 C 코드를 생성하도록 프롬프트를 구성했다.
  • 에이전트 프레임워크: 모델들이 반복 루프 내에서 에이전트로서 역할을 수행했다. 만약 생성된 코드가 gcc 컴파일러를 통해 컴파일에 실패하면, 에러 메시지를 원래의 태스크 및 결함이 있는 코드와 함께 취합하여 수정 시도를 위해 모델에 다시 입력되었다. 이 과정은 최대 5회 반복되었다.
• 평가 지표:
  • 컴파일 성공률: 에러 없이 컴파일된 프로그램의 비율.
  • 텍ext 유사도: 정답 솔루션에 대해 BLEU 및 ROUGE-1을 사용하여 측정하였다.
  • 의미론적 유사도: C 튜닝 임베딩에 대한 CodeBERTScore(정밀도 및 재현율)를 사용하여 측정하였다.
  • 에러 분석: 생성된 출력을 에러 유형(예: 구문 에러, 미정의 참조, 언어 불일치, 코드 누락)별로 분류하여 에이전트 프레임워크가 어떤 에러를 가장 효과적으로 해결했는지 결정하였다.

주요 기여 및 결과
본 연구는 컴파일러에 대한 접근이 LLM이 실행 가능한 코드를 생성하는 능력을 유의미하게 향상시킨다는 실증적 근거를 제공하며, 이를 통해 작은 모델이 더 큰 모델보다 우수한 성능을 보이는 경우가 많음을 보여준다.

1. 컴파일 성공률: 컴파일러에 대한 접근은 평가된 모델 전반에 걸쳐 성공적으로 컴파일된 프로그램의 비율을 5.3에서 79.4 퍼센트 포인트 증가시켰다.

   • 가장 극적인 개선은 **Qwen 3 (40억 파라미터)**에서 관찰되었는데, 이 모델은 성공률이 18.0%(베이스라인)에서 **97.4%(에이전트)**로 증가하여 많은 더 큰 모델들을 능가했다.
   • **Llama 3.3 (700억 파라미터)**은 컴파일러를 통해 92.0%에서 99.9%의 성공률을 달ей했다.
   • 결정적으로, 본 연구는 컴파일러 접근 권한을 가진 작은 모델이 그렇지 않은 더 큰 모델보다 더 높은 성능을 낼 수 있음을 발견했으며, 이는 도구 통합이 거대한 파라미터 수의 필요성을 줄일 수 있음을 시사한다.

2. 의미론적 보존: 반복적인 수정 과정은 프로그램의 핵심 로직을 변경하지 않고 컴파일 에러를 수정하는 데 집중했다.

   • 텍스트 유사도(BLEU/ROUGE) 및 의미론적 유사도(CodeBERTScore)는 베이스라인과 에이전트 사이에 대체로 일관되게 유지되었다.
   • 세 가지 특정 태스크(Easy, Medium, Hard)에 대한 수동 평가 결과, 에이전트 사용 시 잘못된 솔루션의 수는 감소했지만, 성공한 솔루션의 기능적 정확성이 베이스라인에서 크게 벗어나지는 않았음을 확인했다.

3. 에러 해결 패턴: 에이전트 프레임워크는 컴파일러 피드백이 명확한 특정 에러 카테고리를 해결하는 데 가장 효과적이었다:

   • 구문 에러(Syntax Errors): 75% 감소.
   • 미정의 참조(Undefined References): 87% 감소.
   • 코드 누락(Missing Code): 66.5% 감소.
   • 반면, 언어 불일치(예: C 대신 Python 생성)나 마크다운 에러(코드 블록 격리 실패)와 같이 피드백이 모호한 에러는 개선 폭이 적었으며(35~43% 감소), 이는 컴파일러의 에러 메시지 명확성이 제한 요인임을 나타낸다.

4. 태스크 특성: 본 연구는 태스크 카테고리, 설명 길이 또는 솔루션 복잡도와 컴파일러가 제공하는 개선 정도 사이에 유의미한 상관관계가 없음을 발견했다. 이 혜택은 다양한 프로그래밍 태스크 전반에 걸쳐 일관되게 나타났다.

의의 및 주장
본 논문은 소프트웨어 엔지니어링 도구, 특히 컴파일러를 통합하는 것이 프로그램 합성에서 LLM의 성능을 높이는 데 필수적이라고 결론짓는다. 주요 의의는 피드백 루프에 대한 접근이 모델 크기를 보완할 수 있음을 입증했다는 데 있다. 컴파일러 피드백을 바탕으로 출력을 반복적으로 정제할 수 있게 함으로써 더 작은 모델을 활용할 수 있게 하여, 거대한 규모의 모델을 구축해야 하는 필요성을 줄이고 소프트웨어 엔지니어링 작업의 에너지 발자국을 낮출 수 있다.

저자들은 자신들의 결과가 C 언어와 RosettaCode 데이터셋의 맥락 내에서 견고하지만, 이 연구가 무차별적인 모델 스케일링보다 반복적인 검증을 우선시하는 더 효율적인 도구 증강 AI 에이전트를 향한 경로를 제시한다는 점을 강조한다. 또한, 이 접근 방식의 효과는 모델이 컴파일러 에러 메시지를 정확하게 해석할 수 있는 능력에 달려 있다는 점을 언급한다.