When Verification Fails: How Compositionally Infeasible Claims Escape Rejection

이 논문은 과학적 주장 검증 (Scientific Claim Verification) 분야에서 현재 대규모 언어 모델 (LLM) 이 직면한 구조적 한계와 기존 벤치마크의 결함을 분석하고, 이를 해결하기 위한 새로운 접근법을 제안합니다. 주요 내용은 다음과 같습니다.

1. 문제 제기 (Problem)

과학적 주장 검증은 증거에 기반하여 주장이 타당한지 판단하는 작업으로, 오정보를 방지하고 발견을 확립하는 데 필수적입니다. 엄격한 검증 기준인 **폐세계 가정 (Closed-World Assumption, CWA)**에 따르면, 주장이 수용되기 위해서는 주장이 내포하는 모든 제약 조건 (constraints) 이 증거에 의해 긍정적으로 지지되어야 합니다.

그러나 저자들은 기존 벤치마크 (NLI4CT, SCITAB, SciVer 등) 가 모델의 진정한 검증 능력을 평가하지 못한다고 지적합니다.

• 기존 벤치마크의 결함: 기존 데이터셋은 부정적인 예시 (infeasible claims) 를 만들 때, 주장의 가장 두드러진 (salient) 단일 요소를 변형하는 방식만 사용합니다.
• 결과: 모델이 모든 조건을 확인하는 CWA 를 수행하든, 단순히 가장 눈에 띄는 조건만 확인하고 나머지는 무시하는 **주요 제약 확인 (Salient-Constraint Checking)**이라는 단순한 단축키 (shortcut) 를 사용하든, 기존 벤치마크에서는 두 모델의 성능이 동일하게 나타납니다. 즉, 모델이 실제로 논리적 추론을 하는지, 아니면 표면적인 단서에만 의존하는지 구분할 수 없습니다.

2. 방법론 (Methodology)

저자들은 모델이 '주요 제약 확인' 단축키를 사용하는지 식별하기 위해 **구성적 비실현 가능 주장 (Compositionally Infeasible Claims)**이라는 새로운 유형의 데이터를 구축했습니다.

• 그래프 기반 적대적 생성 (Graph-Based Adversarial Construction):

  • 기존 검증 가능한 주장과 증거를 바탕으로 3 단계 추론 그래프 (관찰층, 맥락층, 해석층) 를 구성합니다.
  • 관찰층 (Observation Layer): 증거에서 직접 추출 가능한 사실.
  • 맥락층 (Context Layer): 관찰 사실들을 결합한 중간 관계.
  • 해석층 (Interpretation Layer): 맥락을 종합한 최종 결론.
  • 변조 과정: 관찰층의 사실은 모두 유지하면서, 맥락층이나 해석층의 노드를 변조 (corrupt) 합니다. 예를 들어, 범위를 잘못 설정하거나 (scope swapping), 부분적 사실을 전체로 일반화 (overgeneralization) 하는 오류를 도입합니다.
  • 특징: 이러한 변조된 주장 (적대적 부정 예시) 은 가장 눈에 띄는 주요 제약 조건은 증거와 일치하지만, 비주요 (non-salient) 인 구성적 제약 조건은 증거와 모순됩니다.

• 실험 설계:

  • 다양한 모델 (GPT-5, Gemini, Claude, Qwen3 등) 과 모달리티 (텍스트, 표, 차트) 를 대상으로 기존 벤치마크와 새로 구축한 구성적 비실현 가능 데이터셋에서 성능을 평가했습니다.
  • 개입 실험 (Intervention): CWA(폐세계 가정) 또는 OWA(개방세계 가정) 지침, 그리고 주장 분해 (Decomposition) 프롬프트를 사용하여 모델의 추론 전략이 성능에 미치는 영향을 분석했습니다.
  • 추적 분석 (Trace Analysis): 모델의 추론 과정을 LLM 저지 (Judge) 를 통해 평가하여, 모델이 모든 제약 조건을 확인했는지 아니면 주요 조건에서만 멈췄는지 점수화했습니다.

3. 주요 기여 (Key Contributions)

1. 기존 벤치마크의 구조적 한계 규명: 단일 제약 조건 변형 방식이 '주요 제약 확인'과 '완전한 CWA'를 구분하지 못하게 만든다는 것을 이론적으로 증명했습니다.
2. 새로운 평가 데이터셋 구축: 세 가지 모달리티 (임상 시험 텍스트, 과학 표, 차트) 에 걸쳐 구성적 비실현 가능 주장 (Adversarial Negatives) 을 생성하여, 모델의 추론 결함을 드러내는 새로운 벤치마크를 제시했습니다.
3. 추론 병목 현상의 규명: 모델이 구성적 추론에서 실패하는 것이 전략 선택의 문제라기보다는 추론 능력의 구조적 병목 현상임을 입증했습니다. 프롬프트 지침 (Strategy Guidance) 만으로는 이 병목 현상을 극복할 수 없음을 보였습니다.

4. 실험 결과 (Results)

• 성능 격차: 기존 벤치마크에서 높은 성능을 보인 모델들도 구성적 비실현 가능 주장 (Adversarial Negatives) 에 대해서는 현저히 낮은 정확도를 보였습니다. 특히 주요 제약 조건은 지지되지만 비주요 조건이 모순되는 경우, 모델들은 이를 '수용 (Accept)'하는 경향이 강했습니다.
• 규모와 모델 계열: 모델의 크기가 커지거나 모델 계열이 달라도 이 성능 격차는 지속되었습니다. 이는 단순한 데이터 부족이나 모델 크기 문제가 아님을 시사합니다.
• 추론 병목 현상:
  • 검색 vs 추론: 모델이 관련 사실을 검색 (Retrieval) 하는 능력은 충분하지만, 여러 사실을 결합하여 모순을 발견하는 구성적 추론 (Compositional Reasoning) 단계에서 실패했습니다.
  • ROC 곡선 분석: 다양한 프롬프트 개입 (CWA, OWA, 분해 등) 을 가했을 때, 모델들은 수용과 거부 사이의 트레이드오프 곡선 (ROC curve) 을 따라 이동할 뿐, 근본적인 추론 능력의 한계를 넘어서지 못했습니다. 이는 모델 간의 성능 차이가 '기본적인 검증 임계값 (Threshold)'의 차이 때문이지, '추론 능력'의 차이 때문이 아님을 의미합니다.
  • 자기 검증 (Self-Verification): 모델이 자신의 답변을 검증할 때도 동일한 오류 패턴이 관찰되어, 이 현상이 외부 검증뿐만 아니라 내부 추론 과정에도 보편적으로 존재함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 과학적 사실 확인을 위한 LLM 의 현재 한계를 명확히 지적합니다.

• 벤치마크의 재평가 필요: 기존 벤치마크는 모델이 '단순한 단서 찾기'를 잘하는지 평가할 뿐, 진정한 논리적 검증 능력을 평가하지 못합니다. 따라서 구성적 추론 능력을 평가할 수 있는 새로운 평가 기준이 필요합니다.
• 전략 vs 능력: 모델에게 "모든 조건을 확인하라"는 지침을 주는 것만으로는 구성적 추론의 결함을 해결할 수 없습니다. 이는 모델이 훈련 데이터에서 주로 $\exists$ (존재) 유형의 추론 (어떤 증거라도 찾으면 됨) 에 최적화되어 있고, CWA 에 필요한 $\forall$ (전체) 유형의 추론이 체계적으로 훈련되지 않았기 때문입니다.
• 미래 방향: 단순한 프롬프트 엔지니어링을 넘어, 구성적 추론 능력을 강화하는 새로운 학습 방법론 (SFT, RLVR 등) 이 필요하며, 이는 향후 연구의 중요한 과제로 남습니다.

요약하자면, 이 연구는 LLM 이 과학적 주장을 검증할 때 가장 눈에 띄는 부분만 확인하고 나머지는 무시하는 습관을 가지고 있으며, 기존 평가 방식은 이를 포착하지 못한다는 것을 증명했습니다. 이는 과학적 AI 의 신뢰성을 높이기 위해 추론 구조 자체의 개선이 시급함을 시사합니다.