🤖 AI

Judging Is Not Enumerating: Silent Omissions in LLM-Authored Acceptable Sets

이 논문은 거대 언어 모델들이 후보군이 올바른 집합에 속하는지 판단하는 데에는 뛰어나지만, 과잉 포함보다는 침묵적 누락을 보이는 체계적인 경향성으로 인해 완전한 수용 가능한 집합을 작성하는 데에는 현저히 실패하며, 이러한 결함은 다양한 도메인과 파라미터 규모에 걸쳐 지속된다는 점을 입증한다.

원저자: Wenhui Chen, Jianlin Chen, Ziyao Lin, Peiji Long, Chi Man Vong

게시일 2026-08-04

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Wenhui Chen, Jianlin Chen, Ziyao Lin, Peiji Long, Chi Man Vong

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

위대한 역할의 역전: AI가 스승이 될 때

학생들이 더 이상 질문에 답하는 것에 그치지 않고, 교과서를 쓰고, 시험 문제를 출제하며, 무엇이 '정답'인지를 결정하는 교실을 상상해 보십시오. 이것은 지금 인공지능 세계에서 실제로 일어나고 있는 일입니다. 거대 언어 모델(LLM)은 '수험생'(시험을 치는 존재)에서 '시험 출제자'(시험을 만드는 존재)로 승격되고 있습니다. 이들은 다른 AI 시스템이 일을 잘하고 있는지 판단하는 규칙, 정답지, 그리고 체크리스트를 작성하고 있습니다.

왜 이것이 까다로운 문제인지 이해하기 위해 두 가지 서로 다른 기술을 생각해 보십시오. 첫 번째는 **판단(Judging)**입니다. 하나의 답변을 보고 "네, 맞습니다" 또는 "아니요, 틀렸습니다"라고 말하는 것입니다. 두 번째는 **저술(Authoring)**입니다. 가능한 모든 정답의 전체 목록을 처음부터부터 만들어내는 것입니다. 이는 선수가 라인 밖으로 나갔을 때 휘슬을 부는 심판와, 선수가 발생 가능한 모든 탈선 경로를 하나도 빠짐없이 기록한 규칙서를 쓰려는 코치의 차이와 같습니다. 우리가 이 문제에 주목하는 이유는, 만약 시험을 만드는 AI가 실수를 한다면 단순히 문제 하나를 틀리는 데 그치지 않고, 모두에게 적용되는 '정답'의 정의를 바꿔버려 잠재적으로 좋은 답은 벌하고 나쁜 답은 보상하게 만들 수 있기 때문입니다.

논문의 중대한 발견: 기계 속의 침묵하는 유령

이 논문은 AI가 이러한 새로운 역할을 수행할 때 발생하는 기묘하고 위험한 결함을 조사합니다. 연구진은 AI 모델이 판단(특정 답변이 맞는지 틀린지 식별하는 것)에는 매우 뛰어나지만, 저술(모든 정답의 완전한 목록을 작성하는 것)에는 놀라울 정도로 서투르다는 사실을 발견했습니다.

이것을 "사이먼 가라사대" 게임에 비유해 보십시오. 만약 당신이 AI에게 "'사과'가 과일인가요?"라고 묻는다면, AI는 거의 항상 "예"라고 올바르게 답할 것입니다. 하지만 "존재하는 모든 과일을 나열하세요"라고 요청하면, AI는 사과와 바나나를 나열하다가 그냥... 멈춰버릴 것입니다. 키위나 망고를 잊어버리는 것이 아닙니다. 그것들을 몰라서 잊는 것이 아니라, 전체 목록을 작성하는 특정한 작업 자체에 서투르기 때문에 잊는 것입니다.

저자들은 이를 **"판단-열거 가위(Judging-Enumerating Scissors)"**라고 부릅니다. 한쪽 날은 '판단'(날카롭고 강함)이고 다른 쪽 날은 '저술'(무디고 약함)인 가위를 상상해 보십시오. AI 모델이 커지고 똑똑해질수록(소형에서 대규모로 스케일업될수록), '판단'의 날은 더 날카로워지지만, '저술'의 날은 거의 날카로워지지 않습니다. 둘은 결코 따라잡지 못합니다. 얼마나 많은 컴퓨팅 파워를 투입하더라도, 판단 능력과 열거 능력 사이의 격차는 여전히 넓게 유지됩니다.

침묵하는 유령: 왜 우리는 실수를 알아차리지 못하는가

이 발견의 가장 무서운 점은 AI가 실패하는 방식에 있습니다. AI가 정답 목록을 작성할 때, 보통 가짜 답을 추가하지는 않습니다(예를 들어 "바위"를 과일이라고 부르는 식). 대신, AI는 **침묵하는 누락(Silent Omissions)**을 저지릅니다. 단순히 실제 정답을 빠뜨리는 것입니다.

이것이 왜 위험한지 설명하겠습니다:

과잉 포함 (틀린 것을 추가함): 만약 AI가 실수로 과일 목록에 "바위"를 추가했다면, 인간 검토자는 쉽게 찾아낼 수 있습니다. "이봐요, 바위는 과일이 아니잖아요!"라고 말할 수 있죠. 이것은 눈에 보이는 오류입니다.
누락 (맞는 것을 빠뜨림): 만약 AI가 "키위"를 목록에서 빠뜨렸다면, 눈에 띄는 오류가 없습니다. 목록이 그냥 조금 짧아 보일 뿐입니다. 빠진 키위를 찾으려면 검토자가 직접 정답을 알고 있어야 하며, 그것을 찾아내기 위해 뒤져야 합니다.

논문은 AI 모델이 자신이 실수로 추가한 것을 찾아내는 능력보다, 무언가를 놓쳤다는 것을 깨닫는 능력이 6~7배 더 낮다는 것을 보여줍니다. 이는 에세이의 오타는 잘 찾아내지만, 결론을 쓰는 것을 잊어버린 사실은 전혀 모르는 학생과 같습니다. 누락된 부분은 눈에 보이지 않기 때문에, AI의 '정답지'는 불완전해지며, 그 정답지로 채점하는 AI 시스템은 정답을 제대로 작성했음에도 불구하고 목록에 없다는 이유만으로 그 답을 오답 처리하게 됩니다.

"마법의 규칙" 루프홀(Loophole)

연구진은 영리한 우회 방법을 테스트했습니다. 그들은 AI에게 과일을 나열하라고 하는 대신, 무엇이 과일을 과일로 만드는지에 대한 규칙(예: "나무에서 자라고 씨가 있는 경우")을 쓰라고 요청했습니다. 그렇게 했을 때, AI는 거의 완벽해졌습니다(90% 이상의 정확도 기록).

이는 AI가 멍청해서가 아님을 증명합니다. AI는 규칙을 알고 있습니다. 문제는 순수하게 목록을 만드는 행위에 있습니다. 이는 케이크 레시피를 완벽하게 설명할 수 있지만, 전체 쇼핑 리스트를 써달라는 요청을 받으면 마지막 세 가지 재료를 계속 까먹는 요리사와 같습니다. 논문은 AI에게 목록 대신 규칙을 쓰게 하면 문제가 사라진다는 것을 보여줍니다. 하지만 컴퓨터 코드의 테스트 스위트를 작성하는 것과 같은 많은 실제 사례에서는 단순한 규칙을 쓸 수 없습니다. 반드시 구체적인 테스트 케이스를 나열해야만 하며, 바로 그 지점에서 AI가 비틀거립니다.

"자기 자신의 작업 확인하기"가 도움이 되지 않는 이유

당신은 이렇게 생각할 수도 있습니다. "음, AI가 목록을 만드는 데 서투르다면, 목록을 만든 뒤 스스로 확인해서 실수를 고칠 수 있지 않을까?" 연구진은 이것도 테스트했습니다. 그들은 AI에게 목록을 생성하게 하고, 그다음 두 번째 목록을 생성하게 한 뒤, 두 번째 목록을 사용하여 첫 번째 목록을 필터링하도록 했습니다.

결과는 어떠했을까요? 효과가 없었습니다. AI는 자신의 누락을 스스로 고칠 수 없었습니다. 이는 숫자를 세는 데 서툰 사람에게 손가락 개수를 다시 세어보라고 하여 빠진 것이 없는지 확인하라고 하는 것과 같습니다. AI의 '판단' 기술은 명확하게 미리 만들어진 목록을 볼 때는 강력하지만, 스스로 만든 엉망인 목록을 판단하려고 할 때는 무너집니다. 논문은 AI에게 자신의 정답지를 확인하라고 요구하는 것은 함정이며, 누락된 부분을 잡아내기 위해서는 외부의, 인간이 검증한 '골드 스탠더드(Gold Standard)'가 필요하다고 결론짓습니다.

현실 세계의 비용: AI에 대한 "세금"

마지막으로, 논문은 이 고장 난 정답지가 다른 AI를 훈련할 때 어떤 영향을 미치는지 측정했습니다. 그들은 AI가 정답을 맞힐 때마다 점수를 얻는 시나리오를 설정했습니다.

AI가 완벽한 인간 제작 정답지를 사용했을 때, 학습이 잘 되었습니다.
AI가 모델이 만든 정답지를 사용했을 때, 학습 효율이 현저히 떨어졌습니다.

특정 언어 작업에서, 모델이 만든 정답지를 사용한 AI는 완벽한 정답지를 사용한 것보다 18.5점 더 낮은 점수를 받았습니다. 규칙이 간단한 수학 작업에서도 여전히 1.9점의 손실이 발생했습니다. 이 "세금"은 모델이 만든 정답지가 너무 엄격하기 때문에 발생합니다. 즉, AI가 생성했지만 정답 목록에 포함되지 않은 좋은 답들을 거부해 버리는 것입니다. AI는 자신의 정답이 틀렸다고 생각하여 혼란에 빠지고, 창의적인 시도를 멈추게 됩니다.

핵심 요약

이 논문은 AI가 쓸모없다고 말하는 것이 아닙니다. 우리가 AI에게 '시험 출제자'가 되어 정답의 규칙을 쓰라고 요청할 때는 매우 주의해야 한다는 것입니다.

목록을 요청하지 말고, 규칙을 요청하십시오. 만약 AI가 정답을 확인할 수 있는 규칙(예: 파이썬 스크립트)을 쓸 수 있다면 그것을 사용하십시오. 그 방식은 거의 완벽합니다.
목록을 맹목적으로 믿지 마십시오. 만약 AI가 정답 목록을 작성해야 한다면, 반드시 무언가를 빠뜨릴 것입니다.
"문지기(Gatekeeper)"를 활용하십시오. AI의 정답지를 신뢰하기 전에, 그것이 이미 알려진 정답을 수용하는지 확인하십시오. 만약 정답을 거부한다면, 그 정답지는 버려야 합니다.
버리기보다 수정하십시오. 만약 정답지가 정답을 거부한다면, 전체를 버리기보다는 특정 실수(예: 예상 출력값)를 직접 수정하는 것이 훨씬 효과적입니다.

결론적으로, AI는 오류를 찾아내는 데는 뛰어나지만, 자신이 무언가를 놓치지 않았는지 확인하는 데는 서툽니다. 이 "침묵하는 누락" 문제를 해결하기 전까지는, AI가 스스로의 숙제를 채점하도록 온전히 신뢰할 수 없습니다.

기술 요약: 판단은 열거가 아니다

문제 정의

언어 모델(LLM)은 단순히 질문에 답하는 수험생을 넘어, 다운스트림 시스템의 정답 여부를 정의하는 명세서, 테스트 스위트, 정답지 및 보상 함수를 작성하는 시험관으로서 점점 더 많이 배치되고 있습니다. 본 논문은 이러한 역할 역전에서 발생하는 결정적인 비대칭성을 조사합니다. 즉, 모델은 특정 후보가 허용 가능한 집합에 속하는지 여부를 **판단(judging)**하는 데는 강력한 능력을 보여주지만, 그 집합 자체를 **작성(authoring)**하는 데는 현저히 낮은 성능을 보입니다.

핵심 문제는 "작성 격차(authoring gap)"입니다. 이는 정답 명세(유효한 정답 전체 목록 또는 이들을 수용하는 테스트 스위트)의 외연(extension)을 구현해내는 능력이, 개별 후보를 판단하는 데 보유한 충실도에 비해 현저히 떨어진다는 점입니다. 이 격차는 모델이 생성한 산출물(키, 루브릭, 스위트 등)이 RLVR(검증 가능한 보상을 통한 강화학습)을 포함한 다른 시스템의 정답 정의가 되기 때문에 특히 위험합니다. 본 논문은 주요 실패 모드가 침묵적 누락(silent omission), 즉 유효한 구성원을 포함하지 못하는 현상이라고 상정합니다. 이는 누락된 요소는 로컬 검토자가 과잉 포함(over-inclusion)과 달리 이의를 제기할 수 없기 때문에 감사하기 매우 어렵습니다.

방법론

저자들은 순환 논리(즉, 모델이 자신의 명세를 채점하는 모델을 채점하는 것)를 피하기 위해 구축된 정답(ground truth)을 사용하는 엄격한 무판단(judge-free) 측정 프레케임을 사용합니다. 연구는 다양한 도메인과 완결성 수준에 걸쳐 이 현상을 삼각 측량하기 위해 네 가지 뚜로 된 구성을 활용합니다.

알고리즘 구성 (완전한 진실 - Complete Truth):
- 문자열: 모델에게 15개의 단어로 이루어진 유한한 리스트와 기계적으로 결정 가능한 술어(예: "중복 문자를 포함함")를 제시합니다. 과제는 해당 술어를 만족하는 모든 단어를 나열하는 것입니다.
- 산술: 정수 리스트에 대한 수치적 술어(예: "3의 배수")를 사용하는 문자열 과제와 유사합니다.
- 의의: 이러한 구성은 어휘적 불완전성이라는 혼란 변수를 제거합니다. 정답은 계산 가능하며 정확합니다.
실행 가능한 구성 (실행 가능한 진실 - Executable Truth):
- HumanEval+ 및 **MBPP+**를 기반으로 합니다. 모델은 docstring으로부터 테스트 스위트를 생성합니다. 정답 여부는 오라클(oracle)에 의해 검증된 솔루션(정답 1,560개, 오답 904개)에 대해 스위트를 실행하여 결정됩니다.
- 의의: 이는 집합이 무한하고 코드로 정의되는 "내포적(intensional)" 작성 능력을 측정합니다.
어휘적 구성 (어휘적 진실 - Lexical Truth):
- WordNet synset을 기반으로 합니다. 모델은 특정 의미에 부합하는 단어들을 나열합니다.
- 의의: 삼각 측량을 위해 사용되나, 불완전할 수 있음(어휘가 유효한 유의어를 놓칠 수 있음)을 인정합니다. 본 논문은 여기서 정밀도(precision)를 하한선으로 취급하며 재현율(recall) 추세에 의존합니다.

실험 설계:

비교되는 인터페이스:
- 판단 (실행 - Judging/Execution): 모델에게 후보를 주고 " $x \in S^*$ 인가?"라고 묻습니다. (점별 분류)
- 작성 (Authoring): 모델은 전체 집합 $\hat{S}$ 를 방출하거나 술어/스위트를 생성해야 합니다. (외연적 열거)
통제 변수: 연구는 규모(3B ~ 72B 파라미터), 모델 제품군(Qwen2.5, Qwen3, Llama, Mistral, Phi, gemma), 프롬프트 변형, 디코딩 전략(greedy vs. reasoning-enabled)을 통제합니다.
완화 테스트: "샘플링 후 검증(sample-then-verify, 자기 수정)", "알려진 정답 프로브(known-correct probe) 게이팅", "트레이스 수정(trace repair, 참조 실행을 바탕으로 기대값 재작성)"을 테스트합니다.
다운순 영향: 저자들은 모델이 작성한 키와 오라클 키를 사용하여 정책을 학습시켰을 때의 정확도 손실을 측정하여 "RLVR 세금(tax)"을 정량화합니다.

주요 기여 및 결과

1. 판단-작성의 가위질 (The Judging–Authoring Scissors)

주요 발견은 모든 규모와 모델 제품군에서 판단 성능과 작성 성능 사이에 지속적이고 통계적으로 유의미한 격차가 존재한다는 것입니다.

완전한 진실: 알고리즘 과제에서 판단 F1 점수는 0.60 ~ 0.77 범위인 반면, 작성 F1 점수는 0.26 ~ 0.48 범위입니다. 격차( $\Delta$ )는 양수(+0.25 ~ +0.34)를 유지하며 모델 규모가 커져도 좁혀지지 않습니다.
실행 가능한 코드: 이 부분에서 격차가 가장 심각합니다. 코드 정답 여부를 0.74~~0.90의 F1로 판단하는 모델들이 작성한 테스트 스위트는 오라클 정답 솔루션의 **19~~42%**만을 수용합니다(Llama 스위트는 8~10%로 훨씬 적음).
규모 독립성: 격차는 24배의 파라미터 범위와 다양한 모델 세대(GPT-5.1 및 Opus 같은 프런티어 모델 포함)에 걸쳐 지속되며, 가장 강력한 모델들의 단순한 구성에서는 약간 좁아지기도 합니다.

2. 메커니즘: 침묵적 누락

논문은 **누락(omission)**을 "증거가 빈약한(witness-poor)" 지배적인 오류 모드로 식별합니다.

감사 비대칭성: 국소적 검토(감소적 접근)는 과잉 포함(false positives)을 탐지하는 데는 매우 효과적이지만, 누락(false negatives)을 탐지하는 데는 실패합니다. 통제된 실험에서 모델은 심어진 과잉 포함은 6~7배 더 자주 탐지하지만, 심어진 누락은 탐지하지 못했습니다.
검토의 결과: 검토 파이프라인은 과잉 포함을 우선적으로 제거하는 반면 누락을 복구하는 데는 실패하므로, 반복적인 정제 과정은 산출물을 정답으로 향하게 하는 것이 아니라 과소 수용(under-acceptance)(높은 정밀도, 낮은 재현율) 쪽으로 이동시킵니다.

3. 결핍의 본질: 열거인가 명세인가

논문은 규칙을 *명세(specify)*하는 능력과 그 외연을 *열거(enumerate)*하는 능력 사이의 차이를 구분합니다.

술어 방출: 리스트 형태의 답안이 아니라 규칙(예: Python 술어 def accepts(w))을 작성하도록 요청했을 때, 모델은 거의 완벽한 F1(~0.99)을 달려냅니다.
결론: 결핍은 지식의 부족이나 로직을 명세하는 능력의 부족이 아닙니다. 그것은 **일회성 실체화(one-shot materialization)**의 실패, 즉 별도의 규칙을 다시 제공받지 않은 상태에서 주어진 명세에 의해 유도되는 집합을 철저하게 열거하지 못하는 능력의 문제입니다.

4. 완화 및 복구

자기 검증 실패: "샘플링 후 검증"(여러 후보를 생성하고 모델 자신의 판단기로 필터링)은 격차를 줄이지 못합니다. 샘플의 합집합은 정답을 포괄하지 못하며(검색 한계), 모델의 자체 판단기는 경계에 있는 후보들에 대해 붕괴합니다.
외부 게이팅: 알려진 정답 프로브(예: 참조 솔루션)를 거부하는 모든 작성된 스위트를 폐기하면, 오답 수용률(false rejection rate)을 58~~92%에서 $\le$ 5%로 낮출 수 있습니다. 그러나 이는 대다수의 스위트를 버리게 됩니다(수율 5~~39%).
트레이스 복구: 실패한 스위트의 기대값을 참조 실행의 출력값과 일치하도록 재작성하면 3.3배에서 10.6배 더 많은 사용 가능한 스위트를 회복할 수 있습니다. 이는 실패가 입력(외연적)을 선택하는 것이 아니라 기대 출력(내포적)을 계산하는 데 있음을 보여줍니다.

5. 다운스트림 비용: RLVR 세금

모델이 작성한 키가 RLVR에서 보상 신호로 사용될 때:

어휘 과제: 작성된 키로 학습할 경우 오라클 키 대비 18.5 포인트의 정확도 손실(WordNet 상대적)이 발생합니다.
완전한 진실 과제: 기계적으로 정확한 집합임에도 불구하고 비용은 1.9 포인트입니다.
메커니즘: 작성된 키는 "양방향 채널" 역할을 하여, 올바른 행동을 굶주리게 하고(누락), 잘못된 행동을 보상(오염)합니다. 정책은 결함이 있는 키에 최적화되도록 학습되며, 이는 모델 규모가 커져도 사라지지 않는 영구적인 정확도 결핍을 초래합니다.

의의 및 주장

본 논문은 LLM을 검증기 및 보상 설계자로 사용하는 현재의 패러다임에 존재하는 근본적인 한계를 확립한다고 주장합니다.

"메타 레벨"의 비대칭성: 솔루션의 생성보다 검증이 쉽다는 것은 잘 알려져 있지만, 본 논문은 검증 표준 자체를 생성하는 것이 후보를 검증하는 것보다 더 어렵다는 것을 보여줍니다. "검증의 이점"은 검증기 구축으로 전이되지 않습니다.
방향성 오류: 실패는 무작위 노이즈가 아니라 누락을 향한 체계적인 편향입니다. 이로 인해 작성된 명세는 국소적 검토로는 인증하거나 고칠 수 없는 방식으로 "방향이 틀린(directionally wrong)" 상태가 됩니다.
실무적 시사점: 저자는 한 번에 작성된 명세를 절대 정답(ground truth)으로 신뢰해서는 안 된다고 주장합니다. 대신 다음과 같은 시스템을 갖추어야 합니다:
1. 가능하다면 목록(roster)보다는 *규칙(rule, predicate)*을 이끌어낼 것.
2. 모든 작성된 검증기를 알려진 정답 프로브를 통해 게이팅할 것.
  3.론 전체 산출물을 버리기보다 외부 실행을 통해 기대값을 복구할 것.
겸손한 태도: 저자들은 이 격차가 테스트 타임 추론(test-time reasoning)이 없는 일회성, 그리디(greedy) 작성에 특화된 문제임을 명시합니다. 알고리즘 과제에서 규칙이 존재하는 경우 테스트 타임 추론(scratchpads)이 격차를 줄일 수 있다는 점은 인정하지만, 규칙을 산문으로부터 추론해야 하는 테스트 스위트 작성에는 이를 신뢰성 있게 적용할 수 없다고 말합니다. 저자들은 LLM이 더 나은 검증기를 작성하도록 훈련될 수 없다고 주장하는 것이 아니라, 현재 대규모로 배치된 제로샷/원샷 체제는 불충분하다고 주장하는 것입니다.

요약하자면, 본 논문은 LLM이 가장 까다로운 형태의 검증(철저한 열거)에서 '시험관' 역할을 수행하는 데 있어 현재 한계에 봉착해 있으며, 이것이 다운스트림 시스템, 특히 RLVR 파이프라인을 저하시키는 침묵하고 감사가 불가능한 병목 현상을 만들고 있음을 입증합니다.