기술 요약: 0 차 선택에서 2 차 판단으로

문제 제기

대규모 언어 모델 (LLM) 을 위한 객관식 문제 (MCQ) 벤치마크는 모델 능력의 진보로 인한 급속한 포화와 정적 평가를 훼손하는 데이터 오염이라는 두 가지 중대한 도전에 직면해 있습니다. 대규모 추론 모델 (LRM) 이 표준 논리적 추론 벤치마크 (예: LogiQA, MMLU) 에서 초인적인 정확도를 달성했지만, 이 성능은 종종 훈련 세트 암기와 위치 편향, 어휘 중첩과 같은 표면적 패턴의 악용에서 비롯된 것이지 진정한 논리적 함의에서 비롯된 것이 아닙니다.

기존의 "난이도 강화" 방법인 재문장화, 적대적 교란, 또는 "위의 모든 것" (NOTA) 오답선 등은 난이도를 높으려 시도하지만 핵심 문제를 해결하지 못합니다. 이러한 접근법은 여전히 모델이 후보 중 단일 정답을 식별하는 0 차 선택 작업에 머무릅니다. 이는 추론의 논리적 차원을 높이지 못하여, 고급 모델이 확장된 사고 과정 (CoT) 검증이나 패턴 매칭을 통해 심층 논리적 제약을 우회할 수 있게 합니다. 결과적으로 현재 벤치마크는 최첨단 추론 모델에 도전하거나 구성 논리의 근본적 격차를 드러내지 못합니다.

방법론: LogiHard 프레임워크

저자들은 0 차 객관식 문제를 2 차 논리적 판단 작업으로 결정론적으로 변환하는 LogiHard라는 공식 프레임워크를 제안합니다. 이 변환은 유효성 보장 (validity-by-construction) 을 유지하면서 사고 오버헤드와 추론 단계를 증가시킵니다. 이 프레임워크는 세 가지 시너지 구성 요소로 이루어져 있습니다:

1. 결정론적 조합 프로토콜

확률적 교란 대신 LogiHard 는 원자적 옵션을 명제 변수로 매핑하고 논리 연결사 ($\land, \lor, \neg$) 를 사용하여 복합 명제를 생성합니다.

• 변환: 원자적 질문 $Q = (C, O, a)$는 조합 질문 $Q' = (C', \Phi, A)$로 변환됩니다. 컨텍스트 $C'$는 원자화된 옵션에 해당하는 자연어 진술을 포함합니다. 명제 집합 $\Phi$는 원래 답변에서 도출된 실제 값 할당 하에서 모델이 평가해야 하는 복합 명제 (예: 정확성, 논리합, 부정, 복합 부정) 를 포함합니다.
• 구축 기반 유효성: 정답 집합 $A$는 원자적 실제 값과 논리적으로 일관됩니다. 원자적 옵션은 출력에 직접 나타나지 않으며, 복합 명제 내의 그 명제적 대응물만 나타납니다. 이로 인해 표면적 패턴에 대한 암기는 무효화됩니다.
• 난이도 계층: 연산자 계층을 통해 복잡도가 보정됩니다:
  • 쉬움: 정확성만 ($\land$).
  • 중간: 논리합 ($\lor$) 추가.
  • 어려움: 부정 ($\neg$) 추가.
  • 전문가: 복합 부정 추가.

2. 인지적 난이도 점수화

변환 전에 소스 질문이 본질적으로 도전적이도록 보장하기 위해, 프레임워크는 인지적 점수화 모듈을 사용합니다.

• 지표: 모델의 사고 흔적 (예: 진동 지점, 논리 밀도, 귀납적 깊이, 추론 체인 길이) 에서 9 가지 차원을 추출합니다.
• 골드 점수: 이러한 지표는 가중 "골드 점수"로 집계되어 질문을 계층 (쉬움, 중간, 어려움, 전문가) 으로 분류합니다. 바닥 효과 (floor effects) 를 방지하기 위해 조합 변환은 어려움과 전문가 계층에서만 수행됩니다.

3. IRT-CAT 를 통한 동적 평가

LogiHard 는 정적 벤치마크의 비효율성을 해결하기 위해 **문항 반응 이론 (IRT)**과 **컴퓨터 적응형 테스트 (CAT)**를 통합합니다.

• 적응형 선택: 시스템은 모델의 현재 능력 추정치 ($\hat{\theta}$) 를 기반으로 가장 정보량이 많은 문항을 동적으로 선택하여 피셔 정보 (Fisher information) 를 최대화합니다.
• 이중 부분집합 추정: 원자적 (0 차) 및 조합적 (2 차) 추론에 대한 능력을 별도로 추정하여 "조합 격차"($\Delta\theta$) 를 정밀하게 측정할 수 있게 합니다.
• 효율성: 이 접근법은 15~25 개의 적응형 선택된 질문만 사용하여 정적 60 개 문항 테스트와 동등한 측정 정밀도를 달성합니다.

주요 기여

1. 유효성 보장 난이도 합성: 추론을 0 차 선택에서 2 차 판단으로 격상시키는 결정론적 프로토콜입니다. 원자적 옵션이 출력에 나타나지 않고 정답이 진리 할당을 결정하도록 보장함으로써 암기에 저항하며, 적대적 방법에서 발견되는 의미적 드리프트를 제거합니다.
2. 동적 난이도 제어: 생성 시 보정을 위한 계층적 연산자 구성과 정밀하고 효율적인 능력 타겟팅을 위한 IRT 기반 CAT 를 결합한 통합 시스템입니다.
3. 추론 실패 식별: 2,000 개의 고위험 시험 문제로 구성된 데이터셋인 LogiHard-2k의 실시는 최첨단 모델에서 근본적인 다중 선택 실패와 조합 추론 격차를 드러냅니다.

실험 결과

이 프레임워크는 12 개의 최첨단 모델 (GPT-5.4, o3, Claude-Opus-4.6, DeepSeek-R1, Qwen3.6-plus 포함) 과 인간 평가자를 대상으로 평가되었습니다.

• 정확도 저하: 모델은 조합적으로 강화된 질문에서 심각한 성능 감소를 보였으며, 정확도 저하 폭은 **31% 에서 56%**에 달했습니다. 예를 들어, Qwen3.6-plus 는 H-Base 에서 51.67% 에서 H-Comb 에서 5.00% 로 떨어졌습니다.
• 회복 탄력성 계층: 잠재적 능력 감소 ($\Delta\theta$) 를 기반으로 모델을 세 계층으로 분류했습니다. 가장 회복 탄력적인 모델 (예: GLM-5, GPT-5.4) 은 $\approx 1.05–1.11$의 감소를 보인 반면, 다른 모델들 (예: GLM-4.7) 은 $\Delta\theta = 3.14$의 붕괴를 겪었습니다.
• 인간과 기계의 비대칭성: 인간 평가자는 Hard-Combinatorial 질문에서 79.5% 의 정확도를 달성하여 ($\Delta\theta \approx 0.28$), 가장 회복 탄력적인 모델보다 훨씬 뛰어난 성과를 보였습니다.
• 다중 선택 병목 현상: 세분화 분석은 특정 실패 모드를 드러냈습니다: 단일 정답 옵션 질문의 정확도는 31.2% 였으나, 다중 선택 질문 ($n_{correct} \ge 2$) 에서는 12.4% 로 떨어졌습니다.
• Zero-Shot 전이: 도메인 적응 없이 MMLU 에 적용되었을 때, 프레임워크는 47% 의 정확도 저하 (89.84% $\to$ 42.86%) 를 보여주어, 이 격차가 도메인 중립적이며 지식 부족이 아닌 추론 아키텍처에서 비롯됨을 확인시켰습니다.

기작 분석 및 의의

이 논문은 실패의 근본 원인을 논리적 지식의 부재가 아닌 조합 매핑 격차로 규명합니다.

• 2 단계 실패: 모델은 1 단계(원자적 진리 할당 평가) 를 성공적으로 수행하지만, 2 단계(이러한 진리를 완전한 다중 선택 옵션 집합으로 변환) 에서 실패합니다.
• 훈련 유도 편향: 이 실패는 훈련 파이프라인의 조기 종료 편향에 기인합니다. 모델은 단일 답변 선택 ("첫 번째 정답 승리") 을 위해 최적화되어 있으며, 집합 값 완전성 검증을 위한 메타인지적 트리거가 부족합니다. 이로 인해 모델은 유효한 옵션을 식별하지만 완전한 집합을 나열하지 못하는 '과소 선택 (under-selection)'이 발생합니다.
• 의의: LogiHard 는 현재 최첨단 모델이 견고한 명제적 제약 만족을 결여하고 있음을 보여줍니다. 이 프레임워크는 추론 능력을 도메인 지식으로부터 분리하는 도메인 중립적이고 오염에 강한 평가 프로토콜을 제공합니다. 이는 미래 훈련 체제가 집합 값 제약 만족을 심어주기 위해 결정론적 조합적 격상을 포함해야 하며, 현재 표면적 벤치마크 포화에 의존하는 것을 넘어설 필요가 있음을 시사합니다.

저자들은 "논리를 아는 것"과 "논리를 구성하는 것"의 차이가 기계 추론의 지속적인 한계로 남아 있으며, 진정한 추론 능력을 평가하기 위해 정적 벤치마크는 구식화되고 있다고 결론지었습니다.