기술 요약: 언어 모델의 불완전성(Paracomplete) 및 모순 허용(Paraconsistent) 행동에 대한 양방향 프로브 교정

문제 정의

양방향 평가(Bilateral evaluation)는 언어 모델(LM)이 명제 $P$가 참인지, 그리고 그 부정인 $\neg P$가 참인지 각각 독립적으로 질문함으로써 모델이 진릿값을 어떻게 처리하는지 결정하는 방법이다. 응답 쌍은 벨납(Belnap)의 4치 논리에 따라 다음과 같이 해석된다:

• 참 혹은 거짓만 존재 (True only / False only): 고전적 행동.
• 둘 다 아님 (Neither/Gap): $P$와 $\neg P$를 모두 부정하며, 이는 불완전한(paracomplete) 행동(진릿값 결여/gap)으로 해석된다.
• 둘 다 참 (Both/Glut): $P$와 $\neg P$를 모두 긍정하며, 이는 모순 허용(paraconsistent) 행동(진릿값 과잉/glut)으로 해석된다.

이 프레임워크는 모델이 "이 문장은 거짓이다"와 같은 거짓말쟁이 역설(Liar paradox)을 어떻게 추론하는지 분석하거나, 잠재적 지식을 비지도 학습 방식으로 탐사하는 데 매우 중요하다. 그러나 이 방법은 모델이 부정을 올바르게 처리한다는 취약한 가정에 의존한다. 만약 모델이 부정 처리에 실패한다면(이는 LM의 알려진 약점이다), "gap"(둘 다 부정함)은 논리적 입장이 아니라 처리 실패를 반영하는 것일 수 있다. 논리적 간극(gap)과 부정 처리 실패를 구분할 방법이 없다면, LM의 추론 능력에 대한 결론은 타당하지 않을 수 있다.

방법론

본 논문은 간극(gap)이나 과잉(glut)을 해석하기 전, 양방한 프로브(bilateral probes)를 검증하기 위한 **교정 프로토콜(calibration protocol)**을 제안한다. 프로토콜은 다음 단계로 구성된다:

1. 교정 세트 (Calibration Set): 모델을 이미 진릿값이 알려진 150개의 주장(산술 합계 90개, 국가 수도 50개, 기초 사실 10개)에 대해 테스트하며, 각 주장은 명시적인 부정과 쌍을 이룬다.
2. 양방향 프로빙 (Bilateral Probing): 각 주장 $P$에 대해, 모델에게 "P는 참인가?"와 "$\neg P$는 참인가?"를 별도의 컨텍스트가 없는 대화에서 질문한다.
3. 지표 계산:
   • 간극율 (Gap Rate, $n$): $P$와 $\neg P$를 모두 부정하는 평균 확률.
   • 과잉율 (Glut Rate, $g$): 둘 다 긍정하는 평균 확률.
   • 기권율 (Abstention Rate): 파싱 불가능한 답변이나 "알 수 없음"의 빈도.
   • 노이즈 플로어 (Noise Floor): 이러한 비율들을 무작위 응답자(균등 추출)와 비교하여 기준선을 설정한다.
4. 게이트 (The Gate): 모델의 간극(gap) 판독은 다음 조건을 충족할 때만 해석 가능한 것으로 간주한다:
   • 교정 간극율이 고정된 임계치(0.10) 미만일 것.
   • 기권율이 0.10 미만일 것 (간극율이 파싱 불가능한 데이터의 결과물이 아님을 보장하기 위함).

본 연구는 6개의 모델을 감사했다: 두 개의 소규모 오픈 모델(Qwen2.5-1.5B, Llama-3.2-1B)과 네 개의 API 모델(GPT-4o-mini, Claude Haiku 4.5, Gemini 3.1 Flash Lite, Llama-3.3-70B-Instruct).

주요 결과

감사 결과, 대부분의 모델에서 부정 처리의 심각한 실패가 드러났으며, 이로 인해 이들의 "간극(gap)" 판독은 해석이 불가능해졌다:

• 부정 실패 (Negation Failures): 6개 모델 중 4개(GPT-4o-mini, Claude Haiku 4.5, Qwen2.5-1.5B, Llama-3.2-1B)가 게이트를 통과하지 못했다. 이들은 무작위 바닥(random floor)을 훨씬 초과하는 비율로 $P$와 $\neg P$를 모두 부정했다 (Claude Haiku 4.5는 산술 합계에 대해 최대 0.619까지 기록).
  • 결정적으로, 이러한 실패는 틀린 합계뿐만 아니라 옳은 합계에서도 발생했으며, 이는 단순히 정답을 모르는 문제가 아니라 부정의 논리적 형식을 처리하는 데 문제가 있음을 나타낸다.
  • 실패는 단순 부정(수도 관련 "is not")에 비해 산술 부정("is not 46")에서 집중적으로 나타났다.
• 과잉 행동 (Glut Behavior): 어떤 모델도 교정 주장들에 대해 무작위 바닥을 넘어 $P$와 $\neg P$를 동시에 긍정하지 않았으며, 이 맥락에서 모순 허용(paraconsistent) 행동의 증거는 나타나지 않았다.
• 측정 가능한 모델:
  • Gemini 3.1 Flash Lite: 게이트를 통과했다 (간극율 0.002, 기권율 0.000). 이 모델은 양방향 응답을 논리적 간극(gap)이나 과잉(glut)으로 신뢰성 있게 해석할 수 있는 유일한 모델이다.
  • Llama-3.3-70B: 낮은 간극율(0.027)을 보였으나, 높은 기권율(0.320)과 다수의 파싱 불가능한 답변으로 인해 게이트 통과에 실패하여 간극율 측정이 불가능했다.

거짓말쟁이 역설에 대한 적용

교정 없이 거짓말쟁이 역설에 적용했을 때, 데이터는 가장 큰 규모의 모델(Llama-3.3-70B)이 이 역설을 크립키적 간극(Kripkean gap)으로 취급함을 시사했다(간극 점유율 0.753). 그러나 **교정된 판독(calibrated reading)**은 이 결론을 뒤집었다:

• Llama-3.3-70B는 게이트를 통과하지 못했으므로, 그 "간극" 판독은 유효하지 않다.
• 유일하게 해석 가능한 모델인 Gemini 3.1 Flash Lite는 거짓말쟁이 역설에 대해 간극을 생성하지 않았다. 대신, 해당 문장이 거짓이라는 고전적 답변(높은 "is false" 및 "is not true" 확률) 쪽으로 기울었다.
• 어떤 모델도 다이알레테이즘(dialetheist, 과잉/glut) 답변을 내놓지 않았다.

의의 및 주장

본 논문은 양방향 프로브가 언어 모델의 불완전(paracomplete) 또는 모순 허용(paraconsistent) 추론을 드러낼 수 있다는 약속은 부정을 올바르게 처리하는 모델에 대해서만 유효하다고 주장한다. 저자는 세 가지의 신중하지만 중요한 결론을 내린다:

1. 교정의 필요성: 간극(gap)이나 과잉(glut)에 대한 모든 해석은 무작위 바닥에 대비하여 알려진 진릿값을 가진 주장들에 대해 사전에 고정된 게이트를 사용하여 교정 과정을 거쳐야 한다. 비용은 적으며(150개 주장), 프로토콜은 논문과 함께 공개된다.
2. 모순 허용 행동의 증거 부재: 교정된 증거는 감사된 모델들에서 모순 허용(paraconsistent) 행동의 징후를 보여주지 않는다.
3. 비교정된 철학적 판독의 무효화: 교정되지 않은 프로브를 통해 도출된 철학적 결론(예: LLM이 거짓말쟁이를 크립키적 간극으로 취급한다는 결론)은 교정 과정을 거치면 생존하지 못한다. 신뢰할 수 있는 판독이 가능한 유일한 모델인 Gemini 3.1 Flash Lite는 일반적인 이치 논리(two-valued)의 판결을 내렸으며, 이는 크립키, 프리스트, 혹은 타르스키의 특정 이론적 틀과는 일치하지 않고, 오히려 첫 번째 단계의 논증에서 멈추는 고전적 추론자의 모습과 일치한다.

저자는 관찰된 대부분의 "간극(gap)"은 불완전 논리의 증거라기보다 부정 처리의 실패일 가능성이 높다고 결론짓는다. 추론 모델이나 다른 프롬프트 방식이 이 그림을 바꿀 수 있는지 여부는 제안된 프로토콜을 사용하는 향후 연구의 경험적 과제로 남아 있다.