기술 요약: 리들 리들(Riddle Riddle) 패러다임

문제 정의

대규모 언어 모델(LLM)이 다양한 인지 벤치마크에서 높은 정확도를 보여주고 있지만, 이러한 성능이 유연한 추론 능력에서 비롯된 것인지 아니면 학습 데이터로부터 표면적인 패턴을 검색한 결과인지는 여전히 불분명하다. 추론 자체가 학습 코퍼스의 일부가 됨에 따라, 모델은 실제 문제의 내용을 평가하기보다는 추론의 '외양'(예: 수수께끼 구조를 인식하고 "트릭"이 담긴 답을 출력하는 것)을 모방하는 법을 배울 수 있다. 기존의 벤치마크들은 모델이 솔루션을 암기한 것인지, 아니면 적절한 추론 전략을 동적으로 선택한 것인지를 구분하지 못하는 경우가 많다. 핵심 과제는 문제의 '표면 구조'와 '내용적 요구사항'을 분리하는 패러다임을 설계하는 것이다.

방법론

저자들은 전략 선택을 테스트하기 위해 단어 문제의 매칭 쌍을 활용하는 진단 프레임워크인 리들 리들(Riddle Riddle) 패러다임을 도입한다.

자극 설계

이 패러다임은 다음 두 가지 조건을 포함하는 30개의 매칭 쌍으로 구성된다:

1. 조건 A (진짜 수수께끼 - Genuine Riddle): 모순을 해결하기 위해 창의적이고 비문자적인 추론을 요구하는 표준적인 수수께끼 (예: "카우보이가 금요일에 마을로 들어왔다... 그리고 금요일에 나갔다" — 여기서 "금요일"은 말의 이름이다).
2. 조건 B (리들 리들 - Riddle Riddle): 수수께끼의 구문 구조, 문구, 문장 길이는 유지하지만 "트릭"을 제거한 변형된 버전의 수수께끼. 이 문제들은 오직 문자 그대로의 해석만을 요구한다 (예: "카우보이가 금요일에 마을로 들어왔다... 그리고 월요일에 나갔다" — 여기서 답은 단순히 날짜 계산이다).

이 설계는 성능 차이가 주제, 형식 또는 문구가 아닌 오직 문제의 내용에 의해서만 발생하도록 보장한다.

실험 설정

연구는 두 가지 실험으로 구성된다:

• 실험 1 (LLM): 9개의 최첨단 모델(GPT-5.4, Claude-opus-4-6, Gemini-3.1-Pro 및 Llama-3.3, Qwen3.5와 같은 오픈 소스 변체 포함)을 대상으로 테스트하였다. 각 모델은 30개의 수수께끼와 30개의 리들 리들을 받았으며, 항목당 10회 반복되었다. 응답은 정확도와 추론 유형(창의적 vs. 문자적)에 따라 코딩되었다. 또한, 높은 성능이 구절 그대로의 회상(verbatim recall) 때문인지 평가하기 위해 부분 프롬프트 완성을 이용한 "암기 체크"를 수행하였다.
• 실험 2 (인간): 100명의 인간 참가자가 통제된 환경에서 6개 항목(각 조건당 3개씩)을 해결하였다. 응답은 LLM 데이터와 유사하게 코딩되었다.

분석

저자들은 정확도와 추론 전략 선택을 분석하기 위해 혼합 효과 로지스틱 회귀(mixed-effects logistic regression)를 사용하였다. 그들은 조건 간, 그리고 해결사 간(인간 vs. LLM)의 성능을 비교하였으며, 특히 다음과 같은 "진단적 오류"를 살펴보았다:

• 과잉 일반화 (Overgeneralization): 문자 그대로의 해석만을 요구하는 문제에 창의적 추론을 적용하는 경우.
• 과소 일반화 (Undergeneralization): 창의적인 해석이 필요한 문제에 문자 그대로의 추론을 적용하는 경우.

주요 결과

1. 상반된 성능 패턴

연구 결과, 인간과 LLM의 성능 사이에서 명확한 해리(dissociation)가 발견되었다:

• LLM: 리들 리들(50.7% 정확도)보다 진짜 수수께끼(84.9% 정확도)에서 유의미하게 더 높은 성능을 보였다.
• 인간: 진짜 수수께끼(50.5% 정확도)보다 리들 리들(80.5% 정확도)에서 유의미하게 더 높은 성능을 보였다.

2. 전략 선택 및 오류 분석

• LLM 행동: LLM은 체계적으로 창의적 추론을 과도하게 확장 적용했다. 리들 리들(문자적 추론만으로 충분한 경우)에서 LLM 오류의 90.8%는 부적절하게 창의적 추론을 적용했기 때문에 발생했다. 모델이 전략을 전환하더라도 인간보다 덜 유연하게 전환했다.
• 인간 행동: 인간은 문자적 추론을 선호하면서도 더 큰 유연성을 보여주었다. 인간의 주요 오류 모드는 과소 일반화(진짜 수수께끼에서의 오류 중 57.6%)였으며, 이는 창의적 해석이 필요할 때 문자적 추론에서 전환하는 데 실패했음을 의미한다.
• 암기: 부분 프롬프트 완성을 통한 모델의 구절 그대로의 회상 능력과 해당 수수께끼의 정확도 사이에 강한 상관관계($\rho = .88$)가 발견되었다. 결정적으로, 높은 암기력은 오히려 매칭된 리들 리들에 대한 낮은 정확도를 예측했는데, 이는 모델이 추론하는 것이 아니라 정답을 검색(retrieving)하고 있음을 시사한다.

3. 추론의 정확성

최종 답안과 관계없이 올바른 전략을 사용했는지 측정했을 때, LLM은 진짜 수수께끼에 비해 리들 리들에서 유의미한 성능 저하를 보였으며, 이는 포맷 자체가 잘못된 추론 모드를 유발했음을 확인시켜 준다.

주요 기여

1. 리들 리들 패러다임: 표면 특징과 내용적 요구사항을 분리하여, 연구자들이 시스템이 "문제가 어떻게 보이는가"를 기준으로 전략을 선택하는지 아니면 "문제가 무엇을 요구하는가"를 기준으로 선택하는지를 테스트할 수 있게 하는 새로운 실험 설계.
2. 표면 기반 추론의 증거: 현재의 SOTA LLM들이 특정 내용에 부적절함에도 불구하고 표면 특징(수수께끼 같은 구조)에 의존하여 특정 추론 휴리스틱을 트리거한다는 경험적 증거를 제공한다.
3. 인간과 모델 인지의 해리: 인간과 LLM 모두 추론 오류를 범하지만, 그 오류의 성격은 서로 반대임을 입증한다. 인간은 창의적 과업을 위해 문자적 기본값(defaults)을 무효화하는 데 어려움을 겪는 반면, LLM은 문자적 과업을 위해 창의적 기본값을 무효화하는 데 어려움을 겪는다.

의의 및 주장

저자들은 리들 리들 패러다임이 현재 LLM의 근본적인 한계를 드러낸다고 주장한다: 즉, LL명은 문제의 요구사항에 따라 전략을 동적으로 선택하는 의미에서의 유연한 추론에 아직 도달하지 못했다. 대신, 표준적인 수수께끼에 대한 높은 성능은 훈련 과정에서 본 패턴이나 "추론 템플릿"을 검색한 결과일 가능성이 높다.

이 논문은 총체적인 정확도 지표가 오해의 소지가 있을 수 있다고 주장한다. 모델이 벤치마크에서 잘 추론하는 것처럼 보이는 이유는, 해당 벤치마크의 구조가 모델의 훈련 분포 내에서 고빈도로 나타나는 패턴을 일관되게 트리거하기 때문일 수 있다. 리들 리들 패러다임은 구조는 하나의 전략(창의적)을 암시하지만 내용은 다른 전략(문자적)을 요구하는 "함정"을 만듦으로써 이를 폭로한다.

저자들은 정당한 추론과 패턴 매칭을 구분하는 것이 모델의 해석 가능성과 신뢰성을 위해 중요하다고 결론짓는다. 특히 LLM이 새로운 문제 해결을 요구하는 영역에 배치될 때 더욱 그러하다. 그들은 현재 모델들이 작업 패턴의 빈도에는 민감하지만, 특정 사례가 실제로 그 패턴을 요구하는지를 평가하는 능력은 부족하다고 완곡하게 제언한다.