기술 요약: 무엇이 프로그래밍 문제를 언어 모델에게 어렵게 만드는가?

문제 정의

코드 생성 대규모 언어 모델(LLM)에 대한 현재의 평가 관행은 HumanEval 및 MBPP와 같은 벤치마크에서의 pass@k와 같은 집계 지표에 크게 의존하고 있다. 이러한 접근 방식은 모든 문제를 서로 교체 가능한 것으로 취급하여, 어떤 특정 문제가 왜 어려운지를 가린다. 결과적으로, 이는 모델의 일반적인 능력과 모델이 해결하는 항목의 구체적인 특성을 구분하지 못한다. 본 논문은 문제를 분석의 단위로 취급하여, 코드 생성 작업에서 난이도의 결정 요인을 이해하기 위해 항목의 난이도와 모델의 능력을 분리해야 할 필요성을 다룬다.

방법론

본 연구는 문항 반응 이론(IRT)과 예측 모델링에 기반한 데이터 주도적 경험적 접근 방식을 채택한다.

• 데이터 소스: 저자들은 EvalPlus 프로젝트에서 공개된 탐욕적 완성본(greedy completions)을 활용하였다. 본 연구는 HumanEval(164개 문제)과 MBPP(378개 문제)에 대해 약 1B에서 GPT-4 규모에 이르는 31개의 서로 다른 모델을 다룬다.
• 실행 하네스(Execution Harness): 사전 계산된 점수를 신뢰하는 대신, 저자들은 12초의 타임아웃이 설정된 샌드박스 Python 환경에서 13,400개의 모든 완성본을 재실행하였다. 이를 통해 이진 응답 행렬(31×164 [HumanEval]; 22×378 [MBPP])을 생성하였다.
• 난이도 조작화:
  • 경험적 난이도: $1 - \text{해결률}$(특정 문제를 해결하지 못한 모델의 비율)로 정의된다.
  • IRT 검증: 모델 능력($\theta$)과 항목 난이도($b$)를 분리하기 위해 일-매개 변수 로지스틱(Rasch) 모델을 적합시켰다. 저자들은 원시 교차 모델 실패율이 Rasch 기반 난이도와 거의 완벽하게 상관관계($\rho \approx 1.00$)를 보임을 확인하였으며, 이를 통해 더 단순한 지표의 사용을 검증하였다.
• 특징 추출: 문제당 36개의 정적 특징을 추출하였으며, 다음과 같이 분류하였다:
  • 프롬프트 특징: 길이, 가독성, 작업 예시(worked examples)의 수, 타입 힌트의 존재 여부 등.
  • 참조 솔루션 특징: 코드 복잡도 지표(McCabe 순환 복잡도, Halstead 부피, AST 노드 수, 중첩 깊이 등).
  • 테스트 스위트 특징: 단언문(assertion)의 수, 문자 수.
• 분석: 상관 분석(Benjamini-Hochberg 보정을 적용한 Spearman/Pearson)과 머신러닝(Ridge 회귀, Random Forests, Gradient Boosting)을 사용하여 난이도를 예측하였다. 강건성(robustness)은 leave-one-model-out, 부트스트랩 리샘플링, 역량 계층 간 전이, 강화된 테스트 스위트(HumanEval+, MBPP+)에 대한 재채점, 그리고 온도 샘플링을 통해 테스트되었다.

주요 결과

1. 난이도는 안정적이고 측정 가능한 속성이다

• 분포: 난이도는 집중되지 않고 넓게 분포되어 있다. HumanEval의 경우, 31개 모델 패널의 평균 해결률은 0.29였으며, 일부 문제는 0%의 모델이 해결했고 다른 일부는 100%가 해결했다.
• 안정성: 난이도 순위는 매우 견고하다. 단 하나의 모델을 제거하더라도 순위는 거의 변하지 않는다($\rho \ge 0.99$). 또한 이 순위는 역량 계층(약한 모델 vs 강한 모델) 간에도 전이되며, Spearman 상관관계는 HumanEval의 경우 0.78, MBPP의 경우 0.79를 기록했다.
• Rasch 정렬: Rasch 모델은 난이도가 특정 솔버 패널에 독립적인 항목의 잠재적 속성임을 확인해 준다.

2. 예측 신호는 명세 스타일(Specification Style)에 따라 달라진다

본 연구는 두 벤치마크 사이에서 난이도를 예측하는 요소가 서로 다르다는 중요한 차이점을 식별하였다:

• HumanEval (풍부한 프롬프트): 난이도는 주로 프롬프트 특징에 의해 예측된다 ($R^2 = 0.45$), 이는 전체 특징 세트의 성능($R^2 = 0.46$)과 일치한다.
  • 가장 강력한 예측 변수: 입력-출력 작업 예시의 수(난이도와 음의 상관관계)와 타입 힌트의 존재는 문제를 더 쉽게 만든다. 긴 프롬프트와 독스트링(docstring)은 난이도를 높이는 것과 상관관계가 있다.
  • 솔루션 복잡도: 참조 솔루션의 복잡도 특징만으로는 변동성을 거의 설명하지 못한다 ($R^2 = 0.11$).
• MBPP (간결한 프롬프트): 난이도는 주로 솔루션 복잡도 특징에 의해 예측된다 ($R^2 = 0.13$).
  • 맥락: MBPP 프롬프트는 작업 예시가 없는 균일하게 짧은 단일 문장 형태의 설명이다. 따라서 프롬프트 특징은 기여할 변동성이 거의 없다.
  • 가장 강력한 예측 변수: AST 노드 수와 Halstead 부피가 지배적인 상관관계를 가진다. 프롬프트 전용 특징은 음의 $R^2$를 나타낸다.
• 종합: 무엇이 문제를 어렵게 만드는가는 무엇이 가장 가변적인가(variable)에 달려 있다. 만약 프롬프트가 가변적이라면(HumanEval), 프롬프트가 난이도를 주도한다. 만약 프롬프트가 고정적이라면(MBPP), 알고리즘의 복잡도가 난이도를 주도한다.

3. 강건성 및 일반화

• 강화된 테스트: HumanEval+ 및 MBPP+(각각 80배 및 35배 더 많은 테스트)에 대해 재채점했을 때, 전체 통과율은 감소했으나 난이도 순위($\rho = 0.88$ 및 $0.82$)와 프롬프트 대 솔루션의 예측 분리는 유지되었다.
• 디코딩 체제: 탐욕적 디코딩에서 온도 0.8 샘플링으로 전환해도 난이도 순위($\rho = 0.87$)와 예측 신호 분포가 보존되었다.
• 2026년 맥락: 125개 모델을 대상으로 한 2026년 6월 EvalPlus 리더보드 분석에 따르면, HumanEval은 포화 상태에 도달하고 있다(상위 모델 >96%). 프런티어 모델(예: GPT-5.x, Claude Opus 4.8)은 이제 HumanEval을 떠나 저장소 수준의 벤치마크인 SWE-bench로 이동하고 있으며, 여기서 인스턴스별 난이도 모델링은 집계 점수가 압축됨에 따라 더욱 중요해진다.

주요 기여

1. 재현 가능한 실행 연구: 두 벤치마크에 걸친 약 68,000개의 실행을 포함하는 검증된 데이터셋을 통해, 공개된 완성본을 이진 응답 행렬 및 난이도 척도로 변환하였다.
2. 안정성 증거: 난이도가 모델 제거, 리샘플링, 역량 계층 전이 시에도 유지되는 모델 불변(model-agnostic) 속성이라는 경험적 증거를 제시하였다.
3. 예측 분석: 난이도가 정적 특징으로부터 예측 가능하다는 것을 입증하였으며, 특히 프롬프트의 가변성에 따라 예측 신호가 자연어 명세(HumanEval)에서 솔루션 복잡도(MBPP)로 이동한다는 핵심적인 교차 벤치마크 발견을 제시하였다.
4. 맥락화: 이러한 발견을 2026년 모델 환경과 연결하여, 벤치마크가 포화됨에 따라 난이도 인지 분석이 더욱 중요해짐을 보여주었다.

의의 및 시사점

본 논문은 집계 점수가 압축됨에 따라 난이도 인지 벤치마킹이 필수적이라고 주장한다.

• 벤치마크 설계 측면: 보고서는 단일 집계 점수를 넘어 난이도 프로필(예: 쉬움/중간/어려움 항목의 분포)을 포함하여, 포화를 감지하고 벤치마크가 변별력을 유지할 수 있도록 해야 한다. 정적 난이도 예측 변수는 모델 군단을 실행하지 않고도 균형 잡힌 벤치마크를 큐레이션할 수 있는 저비용 방법을 제공한다.
• 자동 채점 및 교육 측면: 정적 난이도 추정치는 LLM 지원 튜터링을 위한 신뢰 신호로 기능할 수 있다. 만약 명세가 "어렵다"고 플래그가 지정되면(예: 예시가 부족하거나 복잡도가 높은 경우), 어시스턴트는 인간의 검토를 요청하거나 명확한 설명을 요구할 수 있다.
• 교육적 정렬: 작업 예시와 타입 힌트가 LLM을 더 쉽게 만든다는 발견은 인지 부하 이론의 "작업 예시 효과(worked-example effect)"와 일치한다. 이는 초보 프로그래머에게 유익한 스캐폴딩(scaffolding)이 LLM에게도 유익하다는 것을 시사하지만, 동시에 트레이드오프를 발생시킨다. 즉, 어시스턴트에게 쉬운 연습 문제(예시가 풍부한)는 학생이 학습하기에는 너무 쉬울 수 있으며, 반대로 간결한 연습 문제는 학생과 LLM 모두에게 도전 과제가 될 수 있다.

본 연구는 난이도가 알고리즘 자체의 고유한 속성만이 아니라, 명세에서 가장 가변적인 차원에 의해 결정된다는 결론을 내린다. 이 통찰은 다양한 문제 설정 전반에서 LLM의 성능을 이해하고 예측하기 위한 프레임워크를 제공한다.