기술 요약: 겉모습으로 판단하지 마라: 논리적 난독화(Logical Obfuscation) 하에서의 LLM 강건성 테스트

문제 정의

산술 방정식 풀이, 진리표 평가, 삼단논법 완성 등 표준적인 추론 작업에서 거대 언어 모델(LLM)이 보여주는 인상적인 능력에도 불구하고, 이 모델들은 논리적으로는 동일하지만 난독화된 형식으로 제시된 문제에 직면했을 때 상당한 취약성을 드러낸다. MMLU, BIG-Bench Hard와 같은 현재의 벤치마크들은 종종 최종 정답만을 점수화하므로, 모델이 표면적인 패턴 매칭이나 암기(memorization)를 통해 성공할 수 있게 방치하며, 이는 모델이 진정한 논리적 추론과 학습 데이터 패턴의 회상을 구분하는 데 실패하게 만든다.

본 연구가 다루는 핵심 문제는 논리적 구조는 불변하지만 표면 형식이 변경되었을 때 최첨단 LLM들이 추론 일관성을 유지하지 못한다는 점이다. 비평가 및 연구자들(예: Smolinski, 2024; Vafa et al., 2024)이 지적했듯이, 모델은 인상적인 출력을 생성하면서도 근저에 있는 세계 모델(world model)을 복구하지 못할 수 있으며, 단순한 우회로나 재구성이 도입될 때 무너진다. 본 논문은 LLM이 진정으로 추론하는 것인지, 아니면 단순히 암기된 패턴을 이용하는 것인지를 체계적인 논리적 난독화 테스트를 통해 조사한다.

방법론

Logifus 프레임워크

이러한 취약성을 연구하기 위해 저자들은 구조 보존형 논리 난독화 프레임워크인 Logifus를 도입한다. Logifus는 $f: Q \to Q'$로 기능하는 매핑 함수이며, 여기서 $Q$는 원래 질문의 집합이고 $Q'$는 논리적으로 동등하지만 구문적으로 다양한(난독화된) 대응 질문의 집합이다. 핵심 원리는 표면적인 언어적 또는 구조적 표현은 변경되지만, 정답은 불변이라는 것이다. 이는 모델이 표면적 회수에 의존하기보다 더 깊은 추론에 참여하도록 강제한다.

이 프레임워크는 다양한 추론 영역에 맞춤화된 특정 변환 전략을 통해 난독화된 변형을 생성한다:

1. 논리적 동치(Logical Equivalences): 1차 논리(FOL) 전제에 대해 드 모르간의 법칙(De Morgan's laws)이나 이중 부정 제거와 같은 규칙을 적용한다.
2. 관계 사슬(Relational Chains): 직접적인 친족 관계 진술을 간접적이고 다단계인 묘사로 재작성한다 (예: "A는 B의 형제이다"를 "A는 B의 처남의 남편이다"로 변환).
3. 기호 치환(Symbolic Substitutions): 수열 내의 수치 값을 결정론적이지만 불투명한 토큰(예: 행성 이름, 해당 이름의 ASCII 합계, 또는 MD5 해시)으로 교체한다.
4. 공간적 우회(Spatial Detours): 순 이동량(net displacement)을 변화시키지 않으면서 복잡성을 높이기 위해 자기 상쇄 벡터 쌍(예: 북쪽으로 갔다가 다시 남쪽으로 이동)을 경로에 삽입한다.

LogiQAte 벤치마크

Logifus를 활용하여 저자들은 네 가지 추론 과업에 걸쳐 1,108개의 질문로 구성된 진단 벤치마크인 LogiQAte를 제시한다:

1. Obfus FOL: 동치 보존 재작성이 적용된 1차 논리 함의를 평가하는 272개의 질문.
2. Obfus Blood Relation: 간접적 관계 사슬(레벨 1 및 레벨 2 복잡도) 하에서의 가족 그래프 추론을 테스트하는 300개의 질문.
3. Obfus Number Series: 기호 치환(행성 이름, ASCII 합계, MD5 해시 유형) 하에서 귀납적 패턴 탐지를 요구하는 284개의 질문.
4. Obfus Direction Sense: 변경된 방향 및 참조 프레임 하에서 항법 추론을 평가하는 252개의 질문.

검증: 무결성을 보장하기 위해, 모든 기본 질문과 그 난독화 버전은 두 명의 인간 주석가와, FOL 과업의 경우 자동 정리 증명기인 Prover9를 포함한 엄격한 검증 과정을 거쳤다. 이를 통해 논리적 동치 및 결론 보존에 대해 거의 완벽한 일치도(Cohen's $\kappa > 0.88$)를 확보했다.

평가 설정

벤치마크는 GPT-4o, Claude 3.7 Sonnet과 같은 범용 모델과 GPT-5, o4-mini, Qwen QwQ-32B, Gemini 2.5 Pro와 같은 추론 특화 모델을 포함한 9개의 최첨단 모델(오픈 소스 및 폐쇄형 소스 모두 포함)을 대상으로 평가되었다. 평가는 제로샷(zero-shot), 퓨샷(few-shot), 그리고 생각의 사슬(Chain-of-Thought, CoT) 프롬프팅 설정 하에 온도(temperature) 0.0으로 수행되었다. 성능은 정확 일치(Exact Match, EM) 정확도로 측정되었다.

주요 결과

성능 저하

모든 과업과 모델에 걸쳐, 논리적 난독화는 제로샷 성능을 심각하게 저하시킨다.

• 평균 하락폭: 모든 과업과 설정에서의 평균 성능 하락은 **28.8%**였다.
• 모델별 특이사항:
  • GPT-4o: 평균 47% 하락했다.
  • GPT-5: 평균 27% 하락했다.
  • o4-mini: 22% 하락했다.
  • 추론 모델: 추론에 최적화된 모델(예: GPT-5)조차 상당한 하락을 보였으며, 예를 들어 Obfus FOL(제로샷)에서 98%에서 56%로 떨어졌다.
  • 범용 모델: 더 극적인 하락을 경험했으며, 일부 과업에서는 최대 **87%**의 하락(예: Obfus Number Series에서의 GPT-4o)을 보였다.

과업별 취약성

• Obfus Blood Relation: 복잡도가 레벨 1에서 레벨 2로 증가함에 따라 꾸준한 하락을 보였다. 예를 들어, Claude 3.7 (CoT)은 기본 질문에서의 59%에서 레벨 2 난독화 시 24%로 떨어졌다.
• Obfus Number Series: 숫자가 행성 이름이나 MD5 해시로 대체되었을 때 패턴을 식별하는 데 어려움을 겪는 범용 모델들에게 특히 가혹했다.
• Obfus Direction Sense: 자기 상쇄 우회 경로를 필터링하는 데 실패함으로써 상태 추적(state tracking)의 약점을 드러냈다.

프롬프팅 전략

Few-shot 및 Chain-of-Thought(CoT)와 같은 고급 프롬프팅 전략은 강건성을 제공하기보다는 부분적인 완화만을 제공했다. CoT는 GPT-5의 저하 폭을 27%에서 18.7%로 줄였으나, 모델 간에 효과가 일관되지는 않았다. 특히, 작은 모델들(예: GPT-4o-mini, Llama-4-Maverick)은 난독화 하에서 정확도가 급격히 붕괴하며 더욱 큰 취약성을 보였다.

메커니즘 분석

실패 모드를 이해하기 위해 저자들은 LLaMA 3.1 8B에 대한 내재적 분석을 수행했다:

1. 암기 민감도: Min-K%++ 멤버십 추론을 사용한 연구 결과, 난독화된 질문이 높은 수준의 암기된 패턴 의존도를 유발함을 발견했다. 예측 AUROC 점수는 Obfus FOL에서 12–15%, Obfus Blood Relation에서 20–25% 증가했는데, 이는 표면 형식이 가려질 때 모델이 훈련 데이터 패턴에 더 크게 의존함을 나타낸다.
2. 계층별 신뢰도: 다음 토큰 로그 확률 분석 결과, 난독화된 질문을 처리할 때 트랜스포머의 후기 계층(28–31)에서 기본 질문에 비해 50–80%의 신뢰도 붕괴가 나타났다. 이는 난독화가 진정한 추론에 필요한 심층 계층의 의미론적 응집(semantic consolidation)을 방해함을 시사한다.

의의 및 기여

본 논문은 세 가지 주요 기여를 한다:

1. Logifus: 논리적 동치를 유지하면서 표면 구문을 변경하는, 구조 보존형 논리 난독화 질문 생성 알고리즘.
2. LogiQAte: 네 가지 추론 과업에 걸쳐 1,108개의 질문으로 구성된 최초의 진단 벤치마크로, LLM의 논리적 난독성에 대한 강건성을 엄격하게 평가하도록 설계되었다.
3. 경험적 증거: 현재의 LLM, 최첨단 추론 모델을 포함하여, 모델들이 깊은 이해 없이 패턴을 파싱한다는 것을 보여주는 포괄적인 분석. 이 결과는 모델이 "내용"(논리)은 동일하더라도 "겉모습"(표면 형태)이 바뀌면 실패한다는 것을 보여줌으로써, 패턴 매칭과 강건한 추론 사이의 결정적인 간극을 강조한다.

저자들은 관찰된 성능 저하가 모델이 단순히 훈련 데이터에서 학습된 패턴을 암기하고 매칭하는 것이 아니라, 표면 형식을 넘어 의미를 진정으로 이해하고 보존하는 모델을 구축해야 할 시급성을 강조한다고 결론지었다.

한계점

저자들은 LogiQAte가 현재 영어로 제한되어 있다고 언급했다. 향후 연구에서는 다국어 데이터(특히 저자원 언어)를 포함하도록 확장하고, 좌석 배치 및 상식 추론과 같은 추가적인 추론 범주로 프레임워크를 확장하는 것을 목표으로 한다.