💻 computer science

CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction

본 논문은 구현 불변성과 과정 투명성에 대해 대규모 언어 모델을 평가하는 세밀한 코드 추론 벤치마크인 CoRE 를 소개하며, 현재 모델들은 동등한 코드 구현 간에 견고성이 부족하고 진정한 중간 상태 추론보다는 표면적인 실행에 의존한다는 점을 밝힙니다.

원저자: Jun Gao, Yun Peng, Qian Qiao, Changhai Zhou, Yuhua Zhou, Shiyang Zhang, Shichao Weng, Zhenchang Xing, Xiaoxue Ren

게시일 2026-04-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jun Gao, Yun Peng, Qian Qiao, Changhai Zhou, Yuhua Zhou, Shiyang Zhang, Shichao Weng, Zhenchang Xing, Xiaoxue Ren

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 CoRE 논문에 대한 설명을 창의적인 비유를 곁들여 쉬운 언어로 번역한 것입니다.

핵심 아이디어: AI 코딩 도구가 실제로 "생각"하고 있을까요?

수학 문제를 풀 brilliant 한 학생을 고용했다고 상상해 보세요. 그들은 최종 답안을 적어내는데, 그 답이 정확합니다. 당신은 그에게 금색 스타를 수여합니다.

하지만 그들에게 그 답에 도달한 방법을 설명해 달라고 요청하면, 그들은 숫자를 지어내거나 단계를 혼동하며 과정의 중간 부분에서 혼란을 겪기 시작합니다. 그런데도 어딘가 그들은 여전히 올바른 최종 숫자에 도달합니다.

문제점: 현재 AI(대형 언어 모델 또는 LLM) 에 대한 테스트는 바로 그 금색 스타와 같습니다. 오직 최종 답안만 확인합니다. AI 가 올바른 출력을 생성하면, 우리는 그것이 코드를 "이해"했다고 가정합니다. 이 논문의 저자들은 이것이 함정이라고 주장합니다. AI 는 실제로 코드가 어떻게 실행되는지를 그 "마음"에서 시뮬레이션하는 것이 아니라, 추측하거나 휴리스틱(heuristic, 경험적 규칙) 같은 단축키를 사용하고 있을 수 있습니다.

해결책: CoRE(코드에 대한 "정직성 테스트")

저자들은 CoRE(Code Reasoning) 라는 새로운 벤치마크를 만들었습니다. 단순히 "정답은 무엇인가?"라고 묻는 대신, CoRE 는 훨씬 더 어려운 두 가지 질문을 던집니다.

질문하는 방식이 중요할까요? (구현 불변성, Implementation Invariance)
중간 과정에서 무슨 일이 일어났는지 아십니까? (과정 투명성, Process Transparency)

비유 1: "같은 케이크, 다른 레시피" (구현 불변성)

셰프에게 초콜릿 케이크를 구워달라고 요청한다고 상상해 보세요.

표준 테스트: 당신은 그들에게 하나의 특정 레시피 (레시피 A) 를 줍니다. 그들은 케이크를 구웁니다. 맛이 좋습니다. 합격.
CoRE 테스트: 당신은 정확히 같은 초콜릿 케이크를 위한 네 가지 다른 레시피를 그들에게 줍니다.
- 레시피 1: 코코아 가루를 사용합니다.
- 레시피 2: 녹인 초콜릿 바를 사용합니다.
- 레시피 3: 다른 교반 볼 순서를 사용합니다.
- 레시피 4: 다른 오븐 온도를 사용합니다.

셰프가 진정한 대가라면, 어떤 레시피를 사용하든 완벽한 케이크를 구워낼 수 있어야 합니다.
논문의 발견: AI 모델들은 이 테스트에 실패했습니다. 그들은 자신이 평소 작성하는 레시피 (자신의 "스타일") 를 사용할 때는 케이크를 잘 구웠습니다. 하지만 다른 AI 가 작성한 레시피 (다른 "스타일") 를 주면, 수학적으로 동일함에도 불구하고 종종 실수를 저질렀습니다. 그들은 논리보다는 "스타일에 집착"하고 있었습니다.

비유 2: "영화 감독" 대 "스포일러" (과정 투명성)

영화를 보고 있다고 상상해 보세요.

표준 테스트: AI 에게 "영화의 승자는 누구인가?"라고 묻습니다. AI 는 "영웅이 이긴다"고 답합니다. 정확합니다!
CoRE 테스트: AI 에게 "45 분째, 영웅이 옷장에 숨어 있을 때 악당이 들고 있는 것은 무엇인가? 그리고 60 분째, 영웅의 점수는 무엇인가?"라고 묻습니다.

이는 **중간 상태 (intermediate states)**를 확인하는 것입니다.
논문의 발견: AI 모델들은 "누가 이기는가?"라는 질문에는 정답을 맞췄지만, 중간 단계에 대한 "pop quiz"에서는 **환각 (hallucination)**을 일으켰습니다. 그들은 패턴을 기반으로 결말을 추측했지만, 실제로 영화를 단계별로 "관찰"한 것은 아니었습니다. 그들은 여정을 진정으로 이해하지 못한 채 코드를 표면적으로 실행하고 있었습니다.

CoRE 구축 방법

이 테스트를 공정하고 어렵게 만들기 위해 연구자들은 두 가지 주요 작업을 수행했습니다.

많은 버전 생성: 동일한 60 개의 문제에 대한 코드를 작성하기 위해 다양한 AI 모델을 사용했습니다. 이로써 255 개의 서로 다른 코드 버전 라이브러리가 생성되었습니다. 어떤 것은 길고 지저분했고, 어떤 것은 짧고 영리했습니다. 하지만 모두 정확히 같은 일을 수행했습니다.
"pop quiz" 질문 생성: 각 코드 조각마다 과정 중간에 대한 질문을 생성했습니다.
- 산술: "지금 이 변수의 정확한 숫자는 무엇인가?"
- 논리: "이 조건은 참인가 거짓인가?"
- 상태: "지금까지 이 루프가 몇 번 실행되었는가?"
- 경계: "루프가 멈추는 바로 그때 무슨 일이 일어나는가?"

발견된 내용 (결과)

연구자들은 이 새로운 벤치마크를 사용하여 GPT-5, Claude, DeepSeek 등 이용 가능한 가장 똑똑한 8 개의 AI 모델을 테스트했습니다. 결과는 놀라웠습니다.

"스타일 편향" 격차: 모델들은 다른 사람이 작성한 코드보다 자신의 "가족" (예: OpenAI 모델이 OpenAI 가 작성한 코드를 가장 잘 이해함) 이 작성한 코드를 훨씬 더 잘 이해했습니다. 이는 그들이 보편적인 논리를 배우는 것이 아니라 스타일을 암기하고 있음을 시사합니다.
"표면적 실행" 격차: 많은 모델들이 최종 답을 맞췄지만 중간 단계에 대한 "pop quiz"에는 실패했습니다. 그들은 경로를 모른 채 목적지를 추측하고 있었습니다.
"RCS" 점수: 저자들은 **추론 일관성 점수 (Reasoning Consistency Score, RCS)**라는 새로운 점수를 만들었습니다. 이 점수는 잘못된 이유로 정답을 맞춘 모델들을 처벌합니다. 답은 맞췄지만 중간 단계에서 실패하면 점수가 0 으로 떨어집니다.

결론

이 논문은 정답을 맞추는 것만으로는 충분하지 않다고 결론 내립니다. AI 가 코드 조각의 최종 출력을 예측할 수 있다고 해서 그것이 코드가 어떻게 작동하는지 이해한다는 뜻은 아닙니다.

현재의 AI 모델들은 연극의 마지막 대사를 외우지만 그 사이의 대사는 잊어버린 배우들과 같습니다. CoRE는 그들이 작업을 보여달라고 강요하는 새로운 테스트로, 그들이 단순히 결말을 추측하는 것이 아니라 코드를 통해 실제로 "생각"하고 있음을 증명합니다.

요약하자면: CoRE 는 오늘날 가장 똑똑한 코드 작성 AI 들이 진정한 단계별 추론 대신 패턴과 스타일에 의존하여 종종 "속임수"를 쓰고 있음을 폭로합니다.

"CoRE: A Fine-Grained Code Reasoning Benchmark Beyond Output Prediction" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

코드 생성 분야에서 대규모 언어 모델 (LLM) 의 급속한 발전에도 불구하고, 이러한 모델들이 코드 실행 로직에 대한 진정한 이해를 가지고 있는지, 아니면 단순히 올바른 출력을 예측하기 위해 피상적인 휴리스틱에 의존하는지 여부는 여전히 불분명합니다. 기존 벤치마크 (예: CruxEval, LiveCodeBench-O, REval) 는 두 가지 치명적인 결함을 안고 있습니다:

구현 불변성 (Implementation Invariance) 부재: 이들은 일반적으로 단일 '표준 (canonical)' 코드 구현을 기준으로 모델을 평가합니다. 이는 기능적으로 동등하지만 구조적 또는 어휘적으로 다른 코드 변형에 대해 모델이 일관되게 추론할 수 있는지 테스트하지 못합니다.
과정 투명성 (Process Transparency) 부재: 이들은 거의 독점적으로 최종 출력의 정확성에 초점을 맞춥니다. 모델들은 종종 중간 실행 상태를 착각 (hallucinate) 하면서도 올바른 최종 답변을 생성할 수 있어, 진정한 단계별 추론의 부재를 나타냅니다.

저자들은 출력만 평가하는 방식은 견고한 코드 추론을 평가하기에 불충분하다고 주장하며, 이러한 격차를 해소하기 위해 CoRE를 도입합니다.

2. 방법론: CoRE 벤치마크

CoRE 는 HumanEval 과 LiveCodeBench 에서 선정된 60 개의 코딩 문제로 구성되었으며, 구현 불변성과 과정 투명성이라는 두 가지 핵심 차원을 평가하도록 설계되었습니다.

A. 구축 파이프라인

다양한 코드 구현 (1 단계):
- 저자들은 각 문제에 대해 여러 솔루션을 생성하기 위해 7 개의 다양한 LLM 을 사용했습니다.
- 정제 과정: 솔루션들은 기능적 동등성을 보장하기 위해 실행 검증을 거쳤습니다. 다양성을 확보하기 위해 동일한 문제의 구현체 간에 높은 **순환 복잡도 (Cyclomatic Complexity)**와 낮은 1-gram Jaccard 유사도 (어휘적 다양성) 를 가진 것들을 필터링했습니다.
- 결과: 60 개 문제에 걸쳐 255 개의 고유한 코드 구현체 (문제당 평균 4.3 개 구현체).
중간 상태 프로브 (2 단계):
- Python 실행 추적을 사용하여 모든 변수에 대한 실제 (ground-truth) 런타임 값을 캡처했습니다.
- 네 가지 추론 차원을 대상으로 하는 중간 프로빙 질문을 구성했습니다:
  - 산술: 복잡한 연산에서의 수치적 정밀도.
  - 논리: 중첩된 불리언 조건 및 제어 흐름의 해결.
  - 상태: 깊은 실행 경로를 통한 변수 이력 추적.
  - 경계: 루프 종료와 같은 중요한 전환 지점.
- 결과: 243 개의 중간 프로브 (문제당 평균 4.1 개), 각 프로브는 평균 2.2 개의 추론 차원을 포괄합니다.

B. 평가 프로토콜 및 지표

저자들은 단순한 정확도를 넘어선 전체적인 평가 프로토콜을 제안합니다:

엄격한 출력 일관성 ( $I$ ): 모델이 문제의 모든 다양한 구현체에 대해 올바른 출력을 예측해야 하는 이진 지표 (1 또는 0).
과정 충실도 가중치 ( $W_s$ ): 올바르게 답변된 중간 상태 프로브의 비율.
추론 일관성 점수 (RCS): $RCS = I \times W_s$ $R C S = I \times W_{s}$ 로 정의된 주요 지표.
- 이 공식은 모델이 구현 불변성에 실패하거나 (즉, 하나의 변형에서 틀림) 피상적인 휴리스틱에 의존할 경우 (낮은 $W_s$ ), 최종 점수가 크게 감점되거나 무효화되도록 보장합니다.

3. 주요 기여

CoRE 벤치마크: 구현 불변성과 과정 투명성을 공동으로 평가하는 1,978 개의 샘플로 구성된 엄격한 벤치마크로, 기존 벤치마크보다 더 높은 복잡도 (평균 순환 복잡도 5.0) 와 다양성을 특징으로 합니다.
근본적 한계의 식별: 이 연구는 최첨단 LLM 의 두 가지 치명적인 실패 모드를 드러냅니다:
- 견고성 격차 (스타일 과적합): 모델들은 기능적으로 동등한 다른 스타일의 코드에 비해 자신의 계열이나 익숙한 스타일 (예: OpenAI 모델이 OpenAI 코드에서) 로 생성된 코드에서 훨씬 더 잘 수행됩니다.
- 피상적 실행: 모델들은 종종 중간 상태를 착각하면서도 올바른 최종 출력에 도달하여, 진정한 실행 시뮬레이션이 아닌 입력 - 출력 매핑에 의존함을 증명합니다.
전체적 평가 프로토콜: **추론 일관성 점수 (RCS)**의 도입은 휴리스틱 단축키와 진정한 추론을 구분하는 방법을 제공합니다.

4. 실험 결과

저자들은 다양한 프롬프트 전략 (IO, Chain-of-Thought, Chain-of-Code, RHDA) 을 사용하여 8 개의 최첨단 LLM (GPT-5, o3, Claude-4.5, DeepSeek-V3.2, Qwen-3 포함) 을 평가했습니다.

성능 격차: 최종 출력 정확도와 중간 추론 사이에는 엄청난 불일치가 존재합니다. 예를 들어, GPT-5 는 표준 프롬프팅 하에서 84.62% 의 엄격한 출력 정확도 ( $I$ ) 를 달성했지만, 과정 충실도 ( $W_s$ ) 는 18.96% 에 불과했습니다.
스타일 편향: 히트맵 분석 (그림 5) 은 모델이 자신의 계열에서 생성된 코드에서 가장 높은 점수를 받는 강한 대각선 우세를 보여줍니다. 이는 스타일적 과적합을 확인시켜 줍니다.
프롬프팅의 영향: Chain-of-Thought (CoT) 와 Chain-of-Code (CoC) 는 과정 충실도를 향상시켰지만, 견고성 격차나 피상적 실행을 완전히 제거하지는 못했습니다.
차원적 약점: 모델들은 산술 (수치적 정밀도) 과 상태 (변수 이력 유지) 에서 가장 어려움을 겪었으며, IO 설정에서 평균 과정 충실도 점수는 종종 50% 미만으로 나타났습니다.
RCS 의 효과성: RCS 지표는 출력만으로 유능해 보였지만 추론 일관성에서 실패한 모델들을 효과적으로 걸러냈습니다.

5. 의의

이 논문은 코드 추론 평가의 패러다임을 근본적으로 전환합니다. 올바른 출력이 올바른 추론을 의미하지는 않는다는 것을 입증합니다. 현재 LLM 의 취약성, 특히 스타일 편향에 대한 취약성과 중간 상태를 추적하지 못하는 능력을 드러냄으로써, CoRE 는 코드 실행을 진정으로 이해하는 모델 개발을 위한 필수 기준을 제공합니다. 이 연구 결과는 향후 LLM 훈련 및 평가가 최종 출력 정확도 최적화뿐만 아니라 충실한 단계별 추론과 다양한 구현에 걸친 견고성을 우선시해야 함을 시사합니다.