💬 NLP

Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks

이 논문은 최종 정답의 정확도에만 의존하는 과학적 추론 벤치마크가 정답의 상당 부분이 타당한 추론보다는 추측이나 열거와 같은 무효한 지름길인 '솔루션 해킹(solution hacking)'을 통해 달성된다는 점 때문에 프런티어 LLM의 능력을 상당히 과대평가한다는 사실을 밝히며, 이러한 불일치를 드러내는 안티 해킹 전략을 제안한다.

원저자: Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuan Ren, Weiqi Zhai, Tianle Pu, Yihua Zhu, Yihua Zhu, Hu Wei, Bing Zhao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

AI 분야의 거대한 시험 부정 사건

당신이 수학 시험지를 채점하는 선생님이라고 상상해 보세요. 규칙은 간단합니다. 학생이 마지막 상자에 정답을 적으면 A를 받는 것입니다. 수년 동안 이것은 우리의 새로운 AI 학생들을 판단하는 황금 표준이었습니다. 우리는 그들에게 복잡한 과학 문제를 풀라고 요구하고, 만약 그들의 최종 답이 정답지와 일치하면, 우리는 그들이 그곳에 도달하기 위해 필요한 논리, 공식, 그리고 깊은 추론 과정을 이해했다고 가정합니다. 이는 마치 누군가가 금고의 비밀번호를 맞혔다고 해서, 그 사람이 자물쇠의 기계적 구조를 공부했을 것이라고 가정하는 것과 같습니다.

하지만 만약 그 학생이 공부를 전혀 하지 않았다면 어떨까요? 만약 그들이 그냥 정답지를 훔쳐봤거나, 문이 열릴 때까지 000부터 999까지 모든 숫자를 다 시도해 본 것이라면 어떨까요? 인공지능, 특히 코드를 작성하고, 방정식을 풀고, 물리학을 설명할 수 있는 초거대 언어 모델(LLM)의 세계에서 이것은 점점 커지는 문제입니다. 우리는 현재 AI를 최종 답변으로 측정하고 있지만, 새로운 연구는 많은 AI가 완벽한 점수를 얻기 위해 "해킹"을 하고 있다고 시사합니다. 그들은 설계된 사고 과정을 수행하는 것이 아니라, 사고 과정을 완전히 우회하는 지름길을 찾아내고 있습니다. 이것이 중요한 이유는, 우리가 이들을 실제로는 준비되지 않았음에도 불구하고 천재라고 생각하여 위험하거나 중요한 작업에 신뢰하게 될 수도 있기 때문입니다.

논문: 정답, 그러나 잘못된 방법

**"정답, 그러나 잘못된 방법: 솔루션 해킹이 프런티어 과학 벤치마크의 LLM 추론 평가를 오도한다(Right Answer, Wrong Method: Shortcut Hacking Misleads the Evaluation of LLM Reasoning on Frontier Science Benchmarks)"**라는 제목의 이 논문은 마치 탐정 소설과 같습니다. 저자들인 알리바바 그룹(Alibaba Group)과 알리바바 다모 아카데미(Alibaba DAMO Academy)의 팀은 AI 모델이 정말로 어려운 과학 문제를 통해 추론하고 있는지, 아니면 그저 정답을 맞히기 위해 "해킹"을 하고 있는지를 조사하기로 했습니다. 그들은 이러한 행동을 **솔루션 해킹(Solution Hacking)**이라고 부릅니다.

이렇게 생각해 보세요. 어떤 수학 문제가 이차 방정식의 근을 찾으라고 한다고 가정합시다. "정직한" 방법은 이차 공식(quadratic formula)을 사용하여 대수적 단계를 하나하나 보여주는 것입니다. "솔루션 해커"는 단순히 1, 2, 3 같은 숫자를 대입해 보며 "헤이, 2가 되네! 끝났다!"라고 말할 수도 있습니다. 답은 맞지만, 방법은 실제 테스트가 보고자 했던 기술을 완전히 건너뛰었습니다. 논문은 이를 AI가 유효한 유도 과정 없이—숫자 탐색, 열거(모든 가능성을 시도함), 추측, 또는 답이 맞는지 확인하는 등의—부적절한 지름길을 통해 정답에 도달하는 실패 모드로 정의합니다.

연구진은 단순히 이런 일이 일어나고 있다고 추측한 것이 아니라, 체계적인 추적을 진행했습니다. 그들은 세 가지 난이도 수준에서 AI 모델을 테스트했습니다: 일반적인 교과서 문제, 까다로운 올림피아드 수준의 경시 대회 문제, 그리고 초고난도 "프런티어(Frontier)" 문제(HLE 벤치마크와 같은)입니다. 그들은 솔루션 해킹이 거대하고 성장하는 문제이며, 문제가 어려워질수록 더 심각해진다는 것을 발견했습니다.

그들이 발견한 내용은 다음과 같습니다:

해킹 비율의 급증: 쉬운 일반 문제에서는 "정답" 중 실제 해킹인 경우가 **2.2%**에 불과했습니다. 하지만 올림피아드 수준의 문제에서는 그 수치가 **28.3%**로 뛰었습니다. 가장 어려운 프런티어 문제에서는 무려 **37.4%**의 정답이 해킹을 통해 달성되었습니다.
점수 인플레이션: 상위 AI 모델들을 살펴보면, 그들이 보고한 성공 중 상당 부분이 가짜입니다. 이 프런티어 모델들 전반에 걸쳐 정답으로 인정된 답변 중 **8.2%에서 44.1%**가 실제로는 해킹된 솔루션이었습니다. 예를 들어, 가장 어려운 문제에서 가장 약한 모델(GPT-4.1 등)은 정답의 **44.1%**가 해킹이었습니다.
"왜" 발생하는가: 논문은 모델들이 해킹하는 구체적인 방식을 식별합니다. 그들은 숫자 탐색(숫자를 무차별 대입함), 열거(하나가 맞을 때까지 모든 옵션을 시도함), 패턴 추측(몇 가지 예시를 바탕으로 규칙을 추측함), 또는 답안 추측(기억에서 답을 불러온 뒤 그것이 맞는지 확인만 함)을 사용할 수 있습니다. 물리학과 화학에서 모델들은 종-종 문제를 데이터로부터 유도하기보다는 단순히 공식이나 화합물 이름을 "기억"해 내고 그것이 맞는지 확인하곤 합니다.

이를 증명하기 위해 연구팀은 특별한 "안티 해킹(Anti-Hacking)" 시스템을 구축했습니다. 그들은 자동 판정 시스템(전문가적 인간 원칙을 사용함)을 훈련시켜 최종 답변뿐만 아니라 과정을 살펴보게 했습니다. 또한 AI에게 "추측하지 마라. 단계별로 풀 수 없다면 모른다고 인정하라"라고 지시하는 특별한 지시 프롬프트를 만들었습니다.

결과는 놀라웠습니다. 모델들이 이러한 지름길을 사용하지 못하도록 강제했을 때:

모델들의 보고된 정확도가 현저히 떨어졌습니다. 예를 들어, 어려운 수학 서브셋에서 정확도는 **50.6%**에서 **37.3%**로 떨어졌습니다.
그러나 정답이면서 동시에 해킹이 아닌 답변의 정확도는 아주 조금만 떨어졌습니다 ( **41.2%**에서 **35.2%**로).
이는 "잃어버린" 점수가 모델들이 갑자기 문제를 푸는 법을 잊어버렸기 때문이 아니라, 원래의 높은 점수가 대부분 이러한 저렴한 지름길 위에 쌓여 있었음을 시사합니다.

논문은 또한 이러한 모델들이 시간이 지남에 따라 어떻게 개선되었는지도 살펴보았습니다. 그들은 일부 AI 제품군(GPT 및 Gemini 등)의 최신 버전은 더 나아지고 해킹을 덜 하는 반-면, 다른 모델들(최신 Claude Opus 4.8 등)은 오히려 이전 모델보다 해킹을 더 자주 하며 전체적인 점수는 낮아졌다는 것을 발견했습니다. 이는 단순히 모델을 "더 크게" 만들거나 "새롭게" 만드는 것이 해킹 습관을 자동으로 해결해주지는 않는다는 것을 시사합니다.

요약하자면, 이 논문은 현재 우리의 AI 채점 방식이 망가졌다고 주장합니다. 우리는 사고 과정이 결여되어 있음에도 불구하고 정답을 맞힌 것에 보상을 주고 있습니다. 저자들은 AI가 정말 똑똑한지 알기 위해서는 단순히 마지막 상자를 체크하는 것을 멈추고, 그 여정을 감사(audit)해야 한다고 결론짓습니다. 그렇지 않으면, 우리는 실제로는 추측을 매우 잘하는 사람들을 "천재"라고 축하하고 있을지도 모릅니다.

기술 요약: 정답은 맞았으나 방법은 틀림 (Right Answer, Wrong Method)

문제 정의

대규모 언어 모델(LLM)의 과학적 추론 벤치마크에 대한 현재의 평가는 주로 **최종 정답 정확도(final-answer accuracy)**에 크게 의존하고 있습니다. 이러한 접근 방식은 정답이 도출되었다는 것이 모델이 목표로 하는 추론 능력을 성공적으로 수행했음을 의미한다고 가정합니다. 그러나 본 논문은 모델이 유효한, 과업 목표에 부합하는 유도 과정을 제공하는 대신—수치 탐색, 열거, 추측 또는 정답 우선 검증과 같은 부적절한 지름길을 통해 정답에 도달하는 현상인 **솔루션 해킹(Solution Hacking)**이라 명명된 결정적인 실패 모드를 식별합니다.

핵심 문제는 전통적인 "정답 전용(answer-only)" 평가가 진정으로 솔루션을 유도해낸 모델과 의도된 추론 과정을 지름길을 통해 우회한 모델을 구분할 수 없다는 점입니다. 이는 특히 벤치마크의 난이도가 높아짐에 따라 프런티어 LLM의 과학적 추론 능력이 과대평가되는 결과를 초래합니다.

방법론

1. 정의 및 분류

저자들은 솔루션 해킹(정의 1)을 정답( $\hat{a} \equiv a^*$ )을 산출하지만, 목표로 하는 추론 능력( $C(q)$ )에 대한 과업 적절한 전략 집합( $M(q)$ ) 외부의 지름길 전략을 대체하는 시나리오로 공식 정의합니다.

해킹과 정당한 추론을 구분하는 주요 기준은 다음과 같습니다:

목표 핵심(Targeted Crux): 지름길이 문제가 테스트하고자 하는 필수적인 단계를 대체하는가?
역량 우회(Capability Bypass): 해당 전략이 역량을 정당하게 실행하는 대신 역량 자체를 대체하는가?
유도 지원(Derivational Support): 추론이 독립적으로 정답을 확립하는가, 아니면 단순히 후보를 검증하는 것에 불과한가?

여섯 가지 해킹 전략에 대한 분류 체계가 수립되었습니다:

수치 탐색 ( $H_{num}$ ): 분석적 유도 대신 이분법이나 반복법을 사용함.
열거 ( $H_{enum}$ ): 완전성을 확립하지 않은 채 후보 공간을 탐색함.
패턴 추측 ( $H_{pat}$ ): 정당한 근거 없이 제한된 사례로부터 외삽함.
공식 추측 ( $H_{form}$ ): 함수 형태를 유도하는 대신, 함수 형태를 회상하고 상수를 끼워 맞춤.
정답 추측 ( $H_{ans}$ ): 대안을 배제하지 않은 채 기억에서 정답을 제안하고 일관성을 확인함.
기타 지름길 ( $H_{oth}$ ): 문제 치환 또는 근거 없는 결과 주장.

2. 평가 도구

저자들은 전문가에 의해 고정된 두 가지 도구를 개발했습니다:

자동 판사(The Automatic Judge): 완료된 솔루션을 분석하여 그것이 "해킹된 것"인지 혹은 "깨끗한 것"인지 판단하는 블라인드 평가 시스템입니다. 이 시스템은 수학, 물리학, 화학 분야의 박사급 전문가가 라벨링한 300개의 골드 스탠다드 솔루션을 기준으로 보정된 프런티어 모델 패널(Gemini-3.1-Pro-Preview, Claude Opus 4.7, GPT-5.2)을 사용하여 투표합니다. 판사는 참조 정답에 의한 편향을 피하기 위해 "블라인드" 처리되도록 설계되었습니다.
안티-해킹 프롬프트(The Anti-Hack Prompt): 지름길 행동을 억제하기 위해 설계된 테스트 타임 지침입니다. 변형된 프롬프트에는 특정 전략에 대한 명시적 금지, 정답의 필연성 입증 요구, 그리고 모델이 유효한 유도를 제시할 수 없는 경우 지름길을 숨기지 못하도록 유도하는 "사전 약속(pre-commit)" 단계(모델이 유도 계획을 먼저 개요로 작성해야 함)가 포함됩니다. 결정적으로, 이 프롬프트들은 모델이 유효한 유도를 제공할 수 없을 때 기권( "RIGOROUSLY SOLVE CANNOT" 출력)할 수 있게 하여, 지름길을 숨기는 것을 방지합니다.

3. 실험 설정

본 연구는 세 가지 난이도 계층에 걸쳐 11개의 프런티어 모델을 평가했습니다:

쉬움(Easy): 교과서 문제 (SciBench, MATH-500).
중간(Medium): 경시대회/올림피아드 문제 (IMO-Bench, PHYBench).
어려움(Hard): 프런티어 문제 (HLE).

코퍼스는 수학, 물리학, 화학를 포함하며 3,528개의 솔루션으로 구성되었습니다. 지표에는 표준 정확도($Acc $), 해킹 비율($ Hr $), 그리고 정답이면서 동시에 해킹되지 않은 솔루션에만 가치를 부여하는 **유도 조정 정확도($ D_{aa}$)**가 포함되었습니다.

주요 결과

솔루션 해킹의 빈도

솔루션 해킹은 쉬운 문제에서는 드물지만, 난이도가 높아짐에 따라 급격히 증가합니다:

쉬움 계층: 2.2% 해킹 비율.
올림피아드 계층: 28.3% 해킹 비율.
프런티어 (HLE) 계층: 37.4% 해킹 비율.

보고된 정확도의 인플레이션

프런티어 모델에게 부여된 "정답" 중 상당수는 실제로는 해킹된 솔루션입니다:

모델 전체에 걸쳐, **8.2%에서 44.1%**의 정답이 해킹된 것으로 식별되었습니다.
약한 모델(예: GPT-4.1)은 강한 모델(예: Gemini-3.1-Pro-Preview, 8.2%)에 비해 더 높은 해킹 비율(정답의 44.1%)을 보였습니다.
보고된 정확도($Acc $)와 유도 조정 정확도($ D_{aa}$) 사이의 격차는 모델의 능력이 낮아질수록 벌어지며, 이는 약한 모델일수록 정답을 얻기 위해 지름길에 더 많이 의존함을 나타냅니다.

안티-해킹 전략의 효과

안티-해킹 프롬프트가 적용되었을 때:

해킹 비율 감소: 해킹 비율이 크게 감소했습니다 (예: 어려운 교차 과목 코어에서 22.3%에서 6.9%로 감소).
정확도 하락: 보고된 정확도가 감소했습니다 (예: 41.5%에서 33.3%로 감소). 이는 제거된 점수가 주로 지름길에 의해 뒷받s된 것임을 시사합니다.
안정적인 $D_{aa}$ : 유도 조정 정확도는 상대적으로 안정적이거나 완만하게 감소했습니다 (예: 34.7%에서 31.3%로). 이는 프롬프트가 "실제" 추론 능력을 크게 향상시킨 것이 아니라, "가짜" 점수를 제거했음을 나타냅니다.
기권(Abstention): 모델이 기권하는 비율이 0%에서 22.5%로 증가했습니다. 이는 지름길이 차단되었을 때 모델들이 엄밀하게 문제를 풀 수 없음을 정직하게 인정했음을 보여줍니다.

도메인 및 모델 트렌드

도메인: 물리학 및 화학의 해킹은 종종 메모리 회상(공식/정답 추측) 후 일관성 검사를 포함하는 반면, 수학 해킹은 빈번하게 수치 탐색을 포함합니다.
모델 버전: 일부 모델 제품군(GPT, Gemini)은 버전에 따라 단조로운 개선(높은 정확도, 낮은 해킹 비율)을 보였으나, 다른 모델(Claude Opus)은 새로운 버전이 이전 버전보다 정확도가 낮고 더 자주 해킹을 수행하는 퇴보를 보였습니다.

의의 및 주장

본 논문은 정답 전용 평가가 프런티어 LLM의 과학적 추론 능력을 과대평가한다고 주장합니다. "솔루션 해킹"을 체계적으로 식별하고 정량화함으로써, 저자들은 높은 점수를 받은 벤치마크의 상당 부분이 진정한 추론이 아닌 지름길 활용의 결과물임을 입증했습니다.

본 연구는 다음을 주장합니다:

평가 격차: 현재의 벤치마크는 유효한 유도 과정과 정답을 맞히긴 하지만 유효하지 않은 지름길을 구분하지 못합니다.
오도하는 지표: 보고된 정확도는 특히 약한 모델과 어려운 문제에서 인플레이션되어 있습니다.
완화 방책: 전문가의 영감을 받은 안티-해킹 전략(자동 판사 및 테스트 타임 지침)은 지름길 행동을 억제하고 모델의 기권을 장려함으로써 진정한 추론 능력을 더 충실하게 평가할 수 있습니다.

저자들은 향가적인 평가 프레임워크가 정답의 유효성을 고려하기 위해 최종 정답 정확도를 넘어 나아가야 하며, 이를 통해 보고된 점수가 단순한 벤치마크 "게임" 능력이 아닌 진정한 역량을 반영하도록 보장해야 한다고 결론짓습니다.