Agentic Code Reasoning

이 논문은 LLM 에이전트가 코드 실행 없이도 명시적 전제와 추론 경로를 구성하는 '반형식적 추론 (semi-formal reasoning)' 기법을 통해 패치 동등성 검증, 결함 국소화, 코드 질문 답변 등 다양한 작업에서 정확도를 획기적으로 향상시킬 수 있음을 입증합니다.

핵심

이 논문은 **"코드를 실행하지 않고도, AI 가 코드의 의미를 얼마나 잘 이해할 수 있을까?"**라는 질문에 답하는 연구입니다.

여기서 핵심은 '실행 (Testing)' 없이 '이해 (Reasoning)'만으로 코드가 제대로 작동하는지, 혹은 버그가 어디에 있는지 찾아내는 능력입니다. 이를 위해 연구진은 **'반-형식적 추론 (Semi-formal Reasoning)'**이라는 새로운 방법을 제안했습니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🕵️‍♂️ 비유: "수사관 vs 추리 소설 작가"

코드를 분석하는 AI 를 두 가지 타입의 인물로 상상해 보세요.

1. 기존 방식 (표준 추론) = "추리 소설 작가"

   • 이 작가는 코드를 읽으면서 "아, 이 함수는 분명히 저런 역할을 하겠지!"라고 직관과 감으로 결론을 내립니다.
   • 문제점: 감이 맞을 때도 있지만, 중요한 디테일을 놓치거나 "아마 그럴 거야"라고 말하며 가정을 합니다. 마치 범인을 잡을 때 "저 사람이 범인일 거야"라고 말하고 끝내는 것과 같습니다.
   • 결과: 가끔은 틀린 결론을 내더라도 "정답"이라고 착각할 수 있습니다.

2. 새로운 방식 (반-형식적 추론) = "엄격한 형사 (수사관)"

   • 이 형사는 결론을 내리기 전에 반드시 증거를 수집해야 합니다.
   • "범인은 A 입니다"라고 말하기 전에, "A 가 현장에 있었음 (증거 1), A 가 도구를 소지했음 (증거 2), A 가 범행 동기가 있음 (증거 3)"을 단계별로 기록해야 합니다.
   • 핵심: "감"이 아니라 논리적 증거를 바탕으로 결론을 내립니다. 만약 증거가 부족하면 "모르겠다"고 인정하거나, 더 깊이 파고듭니다.

---

🧩 이 연구가 해결한 세 가지 주요 사건

연구진은 이 '엄격한 형사' 방식을 세 가지 다른 사건에 적용해 보았습니다.

1. 두 개의 패치 (수정안) 가 같은가? (Patch Equivalence)

• 상황: 개발자가 버그를 고치기 위해 두 가지 다른 수정안 (패치) 을 냈습니다. 둘 다 같은 문제를 해결한 걸까요?
• 기존 방식의 실수: "둘 다 숫자를 2 자리로 만드는 거니까 똑같겠지!"라고 생각했습니다.
• 형사의 발견: "잠깐! 첫 번째 수정안은 format 함수를 썼는데, 이 프로젝트에서는 format 이라는 이름의 다른 함수가 이미 존재해서 원래 함수를 가리고 (Shadowing) 있었습니다. 그래서 첫 번째 수정안은 실패할 겁니다!"
• 결과: 코드를 실제로 실행해 보지 않아도, 함수 이름이 겹치는지 확인하는 논리적 추적을 통해 정답을 맞혔습니다. 정확도가 78% 에서 88% 로 크게 올랐습니다.

2. 버그는 어디에 숨어 있을까? (Fault Localization)

• 상황: 프로그램이 멈췄습니다. 수천 줄의 코드 중에서 버그가 있는 줄을 찾아야 합니다.
• 기존 방식: "여기서 에러가 났으니, 에러가 난 줄이 문제겠지!"라고 바로 결론 내렸습니다. (증상은 맞지만 원인은 아님)
• 형사의 발견: "에러가 난 줄은 결과일 뿐이야. 그 에러를 일으킨 진짜 원인은 100 줄 전의 다른 파일에 있는 설정 값을 잘못 덮어쓴 데서 왔어."
• 결과: 에러가 발생한 '증상'이 아닌, 원인을 파고드는 논리적 추적을 통해 버그 위치를 훨씬 정확하게 찾아냈습니다.

3. 코드에 대한 질문에 답하기 (Code Question Answering)

• 상황: "이 함수는 어떤 데이터를 처리할까?" 같은 질문에 답해야 합니다.
• 기존 방식: 함수 이름을 보고 "이건 리스트를 처리하는 거겠지"라고 추측했습니다.
• 형사의 발견: "함수 이름만 보고 말하지 마. 코드를 따라가 보니, 이 함수는 리스트가 아니라 '날짜'만 처리하도록 설계되어 있어. 그리고 이 변수는 절대 수정되지 않아."
• 결과: **데이터가 어떻게 흐르는지 (Data Flow)**를 직접 추적하며 답을 냈습니다.

---

💡 왜 이 방법이 중요한가요? (실제 효과)

이 연구의 가장 큰 장점은 **"코드를 실행 (Test) 하지 않아도 된다"**는 점입니다.

• 기존 방식: 코드가 제대로 작동하는지 확인하려면, 개발 환경을 세팅하고 코드를 실행시켜야 합니다. 이는 시간도 많이 들고 비용도 많이 듭니다. (마치 새 차를 사기 전에 매일 타고 다니며 고장 나는지 확인하는 것과 같음)
• 새로운 방식: AI 가 코드를 읽으며 논리적으로 증명하면, 실행 없이도 "이 코드는 안전하다"고 판단할 수 있습니다.
  • 효과: AI 가 코드를 스스로 수정하고 학습하는 과정 (RL) 에서, 매번 실행해 볼 필요 없이 빠르고 저렴하게 피드백을 줄 수 있게 됩니다.

📝 한 줄 요약

"AI 에게 코드를 분석할 때 '감'으로 결론 내리지 말고, '증거'를 바탕으로 단계별로 논리를 펼쳐보라고 시켰더니, 코드를 실행해 보지 않아도 훨씬 더 똑똑하고 정확한 판단을 내리게 되었다."

이 방법은 앞으로 AI 가 코드를 작성하고 검토하는 과정에서, 실행 비용 없이도 신뢰할 수 있는 '디지털 검사관' 역할을 할 수 있는 가능성을 열었습니다.

기술 요약

1. 문제 정의 (Problem)

• 코드 실행 없는 검증의 한계: 복잡한 코드베이스에서 버그 탐지, 패치 검증, 코드 리뷰 등을 수행할 때, 코드를 실제로 실행 (테스트 실행 등) 하는 것은 비용이 많이 들고 환경 설정이 어렵습니다. 따라서 실행 없이 LLM 에이전트가 코드의 시맨틱을 이해하고 검증하는 것이 중요합니다.
• 기존 방법의 부족:
  • 비구조화된 추론 (Chain-of-Thought): 에이전트가 자유롭게 추론하게 하면, 근거 없이 결론을 내리거나 중요한 경우 (edge cases) 를 생략하여 오류가 발생할 수 있습니다.
  • 완전 형식적 검증 (Formal Verification): Lean, Coq 등 형식 언어로 변환하여 증명하는 방법은 정확하지만, 임의의 레포지토리 코드를 형식화하는 과정이 비현실적으로 복잡하고 비용이 큽니다.
• 핵심 질문: "LLM 에이전트가 코드를 실행하지 않고도 두 패치가 시맨틱적으로 동일한지, 혹은 버그의 원인을 정확히 찾을 수 있는가?"

2. 방법론: 반형식적 추론 (Semi-formal Reasoning)

저자들은 자연어와 형식적 논리의 장점을 결합한 반형식적 추론을 제안합니다. 이는 에이전트가 추론 과정에서 반드시 채워야 하는 **구조화된 템플릿 (Certificate)**을 요구합니다.

• 핵심 메커니즘:
  • 명시적 전제 (Explicit Premises): 에이전트는 각 주장에 대해 코드베이스에서 확인된 사실 (파일, 라인 번호, 함수 정의 등) 을 전제로 명시해야 합니다.
  • 실행 경로 추적 (Execution Path Tracing): 단순히 함수 이름을 보고 추측하는 것이 아니라, 실제 호출 체인과 데이터 흐름을 추적하여 증거를 제시해야 합니다.
  • 형식적 결론 (Formal Conclusions): 수집된 증거를 바탕으로 논리적 결론을 도출합니다.
• 작동 원리: 이 구조화된 템플릿은 "증명서 (Certificate)" 역할을 하여, 에이전트가 근거 없는 가정을 하거나 경우를 생략하는 것을 방지합니다. 에이전트는 코드를 읽으며 함수 호출을 따라가야만 (Interprocedural reasoning) 템플릿을 채울 수 있게 됩니다.

3. 평가 태스크 및 실험 결과 (Evaluation & Results)

논문은 세 가지 주요 태스크를 통해 반형식적 추론의 효과를 검증했습니다.

A. 패치 동등성 검증 (Patch Equivalence Verification)

• 목표: 두 개의 패치가 동일한 테스트 결과를 생성하는지 확인 (실행 없이).
• 결과:
  • Curated Dataset: 표준 추론 대비 정확도가 **78% → 88%**로 10%p 향상.
  • 실제 에이전트 생성 패치 (Real-world): Opus-4.5 모델을 사용한 반형식적 추론은 **93%**의 정확도를 달성 (단일 호출 86%, difflib 기반 73% 대비).
  • 의의: RL(강화학습) 훈련 파이프라인에서 실행 비용을 절감하고 피드백을 제공하는 데 활용 가능.

B. 결함 위치 파악 (Fault Localization - Defects4J)

• 목표: 실패하는 테스트만 보고 버그가 발생한 정확한 코드 라인을 찾음.
• 결과:
  • Top-5 정확도: 표준 에이전트 추론 대비 5~12%p 향상.
  • 특히 에이전트가 코드를 탐색 (Agentic Exploration) 하는 모드에서 반형식적 추론이 가장 큰 효과를 보임 (Top-5 All 기준 72.1% 달성).
  • 오류 분석: 표준 추론은 버그가 발생한 '증상 (Crash site)'에 집중하는 반면, 반형식적 추론은 근본 원인 (Root cause) 을 찾기 위해 호출 경로를 체계적으로 추적함.

C. 코드 질문 답변 (Code Question Answering - RubberDuckBench)

• 목표: 코드베이스의 복잡한 시맨틱에 대한 질문에 답변.
• 결과:
  • Opus-4.5 모델에서 **87%**의 정확도 달성 (표준 에이전트 78.3% 대비 8.7%p 향상).
  • 구조화된 템플릿이 함수 이름만 보고 추측하는 경향을 줄이고, 실제 데이터 흐름 분석을 강제하여 성능을 개선.

4. 핵심 기여 (Key Contributions)

1. 반형식적 추론 프레임워크 도입: 형식적 검증의 엄격함과 자연어의 유연성을 결합한 새로운 프롬프트 기법을 제시.
2. 실행 없는 검증의 실용성 입증: RL 훈련, 코드 리뷰, 정적 분석 등 다양한 분야에서 코드 실행 없이도 높은 신뢰도로 시맨틱 분석이 가능함을 증명.
3. 구조화된 추론의 효과: 에이전트가 단순히 답을 맞추는 것이 아니라, 전제 - 증거 - 결론의 논리적链条를 완성하도록 강제함으로써 추론의 깊이를 증가시킴.
4. 범용성: 특정 언어나 프레임워크에 종속되지 않고, 다양한 태스크 (패치 검증, 버그 찾기, 질문 답변) 에 적용 가능.

5. 의의 및 결론 (Significance & Conclusion)

• RL 훈련 비용 절감: 소프트웨어 엔지니어링 에이전트 훈련 시, 매번 테스트 환경을 구축하고 코드를 실행하는 고비용 과정을 줄일 수 있는 실행 없는 (Execution-free) 보상 신호 (Reward Signal) 를 제공.
• 정적 분석 도구의 대안: 기존의 복잡한 정적 분석 알고리즘을 직접 코딩하는 대신, LLM 에이전트에 구조화된 추론 템플릿을 제공하여 다양한 언어와 프레임워크에 적용 가능한 유연한 분석 도구로 활용 가능.
• 향후 과제: 모델 미세 조정 (Fine-tuning) 을 통해 템플릿 구조를 내부화하거나, 경량 형식 방법 및 심볼릭 실행과 결합하여 더 강력한 보장을 제공하는 하이브리드 검증 방식 등으로 확장 가능.

요약하자면, 이 논문은 LLM 에이전트가 "무작정 추측"하는 것을 멈추고 "증거 기반의 체계적 추론"을 하도록 유도하는 반형식적 추론 기법을 통해, 코드 실행 없이도 높은 정확도로 소프트웨어 분석이 가능함을 입증했습니다.