How Robustly do LLMs Understand Execution Semantics?

1. 문제 제기 (Problem)

현재 LLM 은 코드 생성, 요약, 수정 등 소프트웨어 공학 분야에서 뛰어난 성능을 보이지만, 이것이 실제 코드의 의미론적 이해 (Semantic Understanding) 에 기반한 것인지, 아니면 정교한 패턴 매칭에 의존하는 것인지에 대해서는 여전히 의문이 남습니다.

• 핵심 질문: LLM 은 디버깅이나 유지보수 상황에서 코드가 변경되거나 (코드 변형), 예상치 못한 입력값이 주어졌을 때 (입력 변형) 일관되게 정확한 실행 결과를 예측할 수 있는가?
• 현황: 기존 벤치마크 (CruxEval 등) 에서는 최첨단 (Frontier) 모델들이 99% 이상의 정확도를 보였으나, 이는 표준적인 입력과 코드에 국한된 결과일 뿐, 실제 환경에서의 견고성 (Robustness) 을 보장하지는 못함.

2. 방법론 (Methodology)

저자들은 LLM 의 코드 이해 능력을 평가하기 위해 CruxEval 벤치마크를 기반으로 한 세 가지 주요 실험 (RQ) 을 설계했습니다.

A. 실험 설계

1. RQ1: 입력 변형에 대한 견고성 (Input Perturbation)

   • 방법: CruxEval 의 원래 입력값을 타입 인식 (Type-aware) 변형 알고리즘을 통해 변형하여 새로운 입력 집합을 생성.
   • 목적: 변형된 입력에 대해 모델이 일관된 출력을 예측하는지, 그리고 예외 (Exception) 가 발생하는 입력에 대해 예외를 정확히 예측하는지 평가.
   • 데이터: 예외가 발생하는 경우를 포함하도록 확장된 CruxEval_exc 데이터셋 구축.

2. RQ2: 코드 변형에 대한 견고성 (Program Transformation)

   • 방법: 의미 보존 변환 (Meaning-Preserving Transformations, MPTs) 을 적용.
     • 구문 변환: 연산자 교환, 블록 교환, for/while 교환, dead code 삽입 등.
     • 변수 이름 변경: 실제 프로젝트에서 추출한 빈도 기반의 랜덤 이름으로 변수명 교체.
   • 목적: 문법적으로 다르지만 의미적으로 동일한 코드에 대해 모델이 동일한 출력을 예측하는지 평가.

3. RQ3: 제어 흐름 결정 (Control Flow Decisions) 에 대한 견고성

   • 방법: 정적 분석 및 동적 분석 (Tracing) 을 통해 실행 경로에서 발생하는 '결정 (Decisions, 예: if 조건, 루프 반복)'의 수를 계수.
   • 목적: 실행 경로가 복잡해질수록 (결정 수가 늘어날수록) 모델의 예측 정확도가 어떻게 변하는지 분석.

B. 평가 모델

• 모델 선정: 오픈 소스 모델 (Qwen, DeepSeek-R1, Llama 등) 과 프론티어 모델 (GPT-5.2, GPT-5 Nano, Gemini 3 Pro) 포함 총 14 개 모델.
• 지표:
  • 정확도 (Accuracy): 표준 입력 및 변형 입력에서의 정확도.
  • 강건성 (Robustness): Robust Drop (RΔ) (원본 대비 정확도 하락폭), Program-level Strict Robustness (PSR) (특정 프로그램의 모든 입력에 대해 100% 정확히 예측한 비율).

3. 주요 결과 (Key Results)

RQ1 결과: 입력 변형과 예외 예측

• 성능 격차: 오픈 소스 추론 모델 (DeepSeek-R1 계열) 은 변형된 입력에서도 3867% 의 안정적 성능을 유지했으나, GPT-5.2는 원본 벤치마크에서 99% 의 높은 정확도를 보였음에도 변형 입력에서 **약 2024% 급감** (RΔ = -19.52) 하여 매우 취약한 것으로 나타남.
• 예외 예측 실패: 모델들은 예외가 발생하는 입력에 대해 성능이 현저히 떨어짐. 특히 GPT-5.2는 예외 예측 정확도가 15% 수준으로 낮았음.
• GPT-5 Nano vs GPT-5.2: GPT-5.2 보다 작은 모델인 GPT-5 Nano 가 변형 입력과 예외 예측에서 더 높은 견고성과 성능을 보임 (양자화 및 증류의 정제 효과로 추정).

RQ2 결과: 코드 변형 (MPT 및 변수명 변경)

• 일반적 경향: 대부분의 모델은 의미 보존 변환에 대해 비교적 견고하게 반응했으나, GPT-5.2는 변수명 변경과 구문 변환 모두에서 정확도가 99% 에서 76% 수준으로 급격히 하락.
• Gemini 3 Pro: GPT-5.2 와 유사한 원본 성능을 보였으나, 변형에 대한 저항력이 훨씬 강함 (95~98% 유지).

RQ3 결과: 결정 수 (Decisions) 와 정확도

• 부적 상관관계: 실행 경로에서 마주치는 결정 (조건문, 루프 등) 의 수가 증가할수록 모델의 예측 정확도는 감소하는 경향을 보임.
• 루프의 어려움: 특히 루프 제어 조건이 많은 경우 모델의 추론 능력이 저하됨.
• Gemini 3 Pro 예외: 유일하게 결정 수 증가에 따른 정확도 감소가 미미하거나 오히려 증가하는 경향을 보임.

예외 예측 개선을 위한 프롬프트 엔지니어링

• 문제: 기존 CruxEval 프롬프트는 예외 발생을 명시적으로 언급하지 않아, 지시형 튜닝 (Instruction-tuned) 모델들이 예외를 무시하고 그럴듯한 정상 출력을 생성하는 '시코판시 (Sycophancy)' 현상이 발생.
• 해결: 프롬프트에 "예외와 타입을 분석하라"는 지시와 예시 (Few-shot) 를 추가.
• 효과:
  • GPT-5.2: 예외 예측 정확도가 15% 에서 **81%**로 비약적 상승.
  • 부작용: 그러나 이 개선된 프롬프트를 정상 입력에 적용했을 때, GPT-5.2 는 오히려 정확도가 81% 에서 76% 로 하락 (불필요한 예외를 예측하는 경향). 반면 Gemini 3 Pro 는 정상 입력에서도 성능이 유지되거나 향상됨.

4. 주요 기여 (Key Contributions)

1. 견고성 평가 프레임워크: 코드 이해 능력을 평가할 때 단순한 정확도뿐만 아니라, 입력 및 코드 변형에 대한 **견고성 (Robustness)**을 필수 지표로 포함해야 함을 증명.
2. 프론티어 모델의 취약성 발견: GPT-5.2 와 같은 최첨단 모델이 표준 벤치마크에서는 완벽해 보이지만, 실제 변형 환경에서는 심각한 취약성 (Brittleness) 을 보임을 규명.
3. 예외 예측의 한계와 해결: LLM 이 예외를 예측하는 데 어려움을 겪는 이유 (프롬프트의 부재) 를 분석하고, 프롬프트 엔지니어링을 통해 이를 개선할 수 있음을 보였으나, 동시에 이로 인한 새로운 부작용 (정상 입력에서의 오예측) 도 발견.
4. 새로운 벤치마크 데이터셋: 예외가 발생하는 입력을 포함하는 CruxEval_exc 데이터셋과 변형된 코드/입력 세트를 공개.

5. 의의 및 결론 (Significance & Conclusion)

• LLM 의 이해도 한계: LLM 이 코드를 '이해'한다고 주장하기에는, 작은 변형만으로도 예측이 무너지는 등 내부 세계 모델 (Internal World Model) 이 부재하거나 약하다는 증거가 다수 발견됨.
• 실무적 함의: 개발자가 LLM 을 디버깅이나 리팩토링에 사용할 때, 모델이 변형된 코드나 예외 상황에 대해 얼마나 신뢰할 수 있는지 주의 깊게 평가해야 함.
• 미래 연구 방향: 프롬프트 민감성, 양자화/증류의 정제 효과, 그리고 더 다양한 언어와 대규모 시스템에서의 견고성 평가가 필요함.

이 연구는 LLM 의 코드 이해 능력이 표면적인 패턴 매칭에 그칠 수 있음을 경고하며, 소프트웨어 공학 분야에서 모델 평가 시 변형 (Perturbation) 기반 테스트의 중요성을 강력히 주장합니다.