기술 요약: CodeHacker

문제 정의

코드 생성에 대한 대규모 언어 모델(LLM)의 평가는 테스트 케이스의 품질과 견고성에 크게 의존한다. 기존의 벤치마크는 미묘한 코너 케이스(corner cases)에 대한 커버리지가 부족하여, 잘못된 솔루션이 통과되는 현상(False Positives)을 허용하는 경우가 많다. 현재의 자동화된 접근 방식은 주로 확률적 입력 탐색이나 휴리스틱 변이를 사용하는 "블랙박스 퍼저(Black-box Fuzzer)" 기능에 그친다. 이러한 방법들은 구체적인 구현체의 특정 논리적 취약점을 타겟팅하기보다는 통계적 커버리지를 우선시하므로, 심층적인 의미론적 이해(semantic understanding)를 결여하고 있다. 결과적으로, 평가 결과는 모델이 문제의 의미론과 제약 구조를 진정으로 이해했는지 여부가 아니라, 테스트 케이스가 우연히 실패 사례를 커버했는지 여부에 따라 결정될 수 있다.

방법론

저자들은 프로그램 제출물에서 잠재적인 취약점을 드러내는 타겟형 적대적 테스트 케이스를 생성하도록 설계된 자동화된 에이전트 프레임워크인 CodeHacker를 제안한다. 경진 대회에서의 "해킹(hack)" 메커니즘을 모방한 이 프레임워크는 개별 프로그램을 일급 객체(first-class objects)로 취급하며, 실패를 유도하는 반례를 체계적으로 탐색한다.

이 프레임워크는 두 가지 주요 단계로 작동한다:

단계 I: 평가 도구 교정 (Evaluation Tool Calibration)

컨테스트 제출물을 해킹하기 전에, CodeHacker는 반복적인 정제 과정을 통해 자신의 "탄약"(테스트 케이스)과 "판단"(체커/검증기)의 신뢰성을 확보한다:

• 검증기 정제 (Validator Refinement): 에이전트는 입력 검증기의 약점을 식별하기 위해 공격을 수행한다. 에이전트는 우회 공격(검증기가 잘못 허용하는 유효하지 않은 입력을 생성)과 거부 공격(검증기가 잘못 거부하는 유효한 엣지 케이스를 생성)을 수행한다. 검증기는 문제 정의와 엄격하게 일치할 때까지 패치된다.
• 체커 정제 (Checker Refinement): 에이전트는 출력 체커의 취약점을 조사한다. 에이전트는 기만 공격(유효한 정답처럼 보이는 잘못된 출력)과 거부 공격(경직된 체커가 거부하는 유효한 대안 출력)을 구성한다.
• 환각 방지 파이프라인 (Anti-Hallucination Pipeline): 체커 업데이트의 무결성을 보장하기 위해 3단계 검증 파이프라인이 사용된다: 입력을 사소한 경계 케이스로 제한하고, 생성 LLM으로부터 명시적인 사고 사슬(Chain-of-Thought) 추론을 요구하며, 독립적인 LLM-as-a-Judge를 통해 결과를 교차 검증한다.
• 전문가 개입 (Expert Intervention): 일반적인 LLM 역량을 넘어서는 복잡한 검증 로직(예: 그래프의 해밀턴 경로 증명)의 경우, 인간 전문가가 개입하여 수동으로 도구를 패치한다. 이는 고난도 문제의 경우 5% 미만으로 발생한다.

단계 II: 적대적 케이스 생성 (Adversarial Case Generation)

교정된 도구를 갖춘 에이전트는 **코드 분석가(Code Analyst)**와 세 가지 보완적인 생성 전략을 사용하여 적대적 입력을 생성한다:

1. 코드 분석가 (Code Analyst): **이중 실행 인터페이스(Dual-Execution Interface)**를 사용하는 전략가 역할을 한다. 이는 행동 프로빙(C++ 샌드박스 내에서 대상 바이너리를 실행하여 충돌이나 잘못된 출력에 대한 가설을 검증)과 정밀 계산(Python 인터프리터를 사용하여 복잡도, 경계 조건, 정수 오버플로우와 같은 수학적 특성을 검증)을 결합한다.
2. 스트레스 테스트 생성기 (Stress Test Generator): 입력 공간의 경계(예: 최대 $N$, 완전 그래프 등)를 체계적으로 탐색하여 런타임 에러(RE), 시간 초과(TLE), 메모리 초과(MLE)를 노출시킨다.
3. LLM 기반 생성기 (LLM-Based Generator): 코드 분석가의 안내를 받아, 식별된 논리적 취약점에 기반하여 특정 실패 모드(Wrong Answer, RE, TLE, MLE)를 유발하는 타겟형 의미론적 테스트 케이스를 제작한다.
4. 안티-해시 생성기 (Anti-Hash Generator): 다항식 롤링 해시를 사용하는 제출물을 타겟팅한다. 고정된 파라미터의 경우, 충돌 탐색을 최단 벡터 문제(SVP)로 공식화하고 격자 축소(LLL 알고리즘)를 적용한다. 더 작은 모듈러스나 비선형 해시의 경우, 생일 공격(Birthday Attack) 전략을 사용한다.

주요 기여

1. 해킹의 공식화: 저자들은 "해킹"을 적대적 테스트 생성 작업으로 공식화하고, 전통적인 변이 기반 방법론을 넘어 고가치의 코너 케이스와 논리적 반례를 능동적으로 찾는 LLM 기반 에이전트를 설계했다.
2. 개선된 평가 지표: 기존 코드 데이터셋에 이 프레مكن트 모델을 배포함으로써, 참 음성률(True Negative Rate, TNR)과 참 양성률(True Positive Rate, TPR) 모두에서 상당한 개선을 입증하였으며, 이는 생성된 적대적 케이스가 평가의 견고성을 실질적으로 강화함을 나타낸다.
3. CodeHackerBench: 저자들은 CodeContest+ 데이터셋에서 판단 불일치를 추출하여 구축한 새로운 평가 환경인 CodeHackerBench를 도입한다. 이 벤치마크는 잘못된 코드와 극단적인 실패 시나리오에 대해 모델이 추론하는 능력을 더 잘 특징짓도록 설계되었다.

결과

CodeContest+ 데이터셋의 2,000개 문제에 대한 실험과 LiveCodeBench에 대한 평가 결과는 다음과 같다:

• 평가 엄격성: CodeHacker는 기존 데이터셋의 TNR을 크게 향상시킨다. Special Judge 문제의 경우, 적대적 해킹 케이스를 추가한 후 TNR이 82.18%(베이스라인)에서 96.05%로 증가했다. 이는 약한 테스트 커버리지로 인해 결함이 있는 솔루션이 통과되었던 "지표 인플레이션"을 바로잡는다.
• 추론 능력: 해킹 성공률(Hack Success Rate, HSR)은 고급 추론 모델을 구분하는 강력한 차별화 요소로 작려한다. 예를 들어, DeepSeek V3.2는 64.83%의 HSR을 달 기록한 반면, 명시적 추론을 비활성화했을 때 성능이 23.76%로 떨어졌으며, 이는 유효한 해킹을 생성하는 것이 알고리즘의 구성적 도출을 요구하는 추론 작업임을 확인시켜 준다.
• RL 학습 효율성: 증강된 CodeContests++ 데이터셋(적대적 케이스 포함)으로 학습된 모델은 표준 데이터로 학습된 모델에 비해 분포 외(out-of-distribution) 벤치마크인 LiveCodeBench에서 일관된 성능 향상을 보였다. 이는 적대적 입력이 패턴 매칭이 아닌 진정한 알고리즘 추론을 촉진하는 밀도 높은 보상 신호 역할을 함을 시사한다.
• 순위 역전: 엄격한 적대적 평가를 통해 순위 역전 현상이 발견되었다. 예를 들어, 정제된 벤치마크로 평가했을 때 GPT-5-Mini가 Gemini-3.0-Flash보다 더 견고한 것으로 나타났는데, 이는 원래의 테스트에서는 보이지 않았던 차이이다.

의의 및 주장

본 논문은 CodeHacker가 적대적 생성을 일반적인 알고리즘 지능을 평가하기 위한 핵심적인 측면으로 확립한다고 주장한다. 저자들은 유효한 해킹을 생성하는 능력이 프로그램 동작에 대한 모델의 깊은 이해를 반영하며, 단순한 기능적 정확성보다 고급 프로그램 추론 능력을 평가하는 데 더 변별력 있는 신호를 제공한다고 주장한다.

학술적 평가를 넘어, 저자들은 CodeHacker를 차세대 프로그래밍 대회 인프라의 필수 구성 요소로 구상하며, 문제 출제자의 품질 보증과 참가자의 개인화된 훈련을 지원하는 것을 목표로 한다. 또한, 검증되지 않은 경계 조건을 조사하기 위해 체계적인 회귀 테스트 증강을 사용하는 핵심 원칙이 실제 세계의 이슈 해결 벤치마크(예: SWE-bench) 및 더 넓은 리포지토리 수준의 평가로 개념적으로 전이될 수 있다고 상정한다.

본 연구는 엄격한 윤리 원칙을 준-수하며, 승인되지 않은 데이터 스크래핑을 금지하고, 공공 온라인 저지(Online Judge)에 대한 서비스 거부(DoS) 위험을 방지하기 위해 모든 적대적 평가가 로컬 샌드박스 환경에서 수행되도록 규정한다.