기술 요약: 증거 부재는 증거 불충분이 아님: 사실 검증에서 NEI 구성 인공물 진단

문제 제기

사실 검증 시스템은 일반적으로 주장을 SUPPORTED(지지됨), REFUTED(반박됨), NOT ENOUGH INFORMATION(정보 부족, NEI) 의 세 가지 범주로 분류합니다. NEI 라벨은 사용 가능한 증거 집합 $E$가 주장 $c$의 진위 여부를 입증하기에 불충분함을 나타내도록 의도되었습니다. 그러나 본 논문은 NEI 라벨의 운영화가 FEVER, SciFact, HoVer 와 같은 벤치마크마다 크게 달라지는 설계 선택 사항이며, 평가 프로토콜에서 종종 정의되지 않은 채 방치된다고 주장합니다.

식별된 핵심 문제는 "증거 부재"(예: 빈 필드, 관련 없는 지문) 와 "증거 불충분"(예: 의미상 관련은 있으나 불완전한 증거) 이 관찰적으로 구별된다는 점입니다. 현재 벤치마크는 종종 이러한 조건들을 혼동합니다. 그 결과, 모델들은 진정한 증거 불충분을 식별하는 의도된 능력을 학습하는 대신 특정 구성 인공물(예: 누락된 텍스트, 주제 불일치, 위치 편향) 을 인식하도록 학습할 수 있습니다. 이로 인해 집계된 NEI 성능 지표 (예: NEI-F1) 는 높을지라도 모델이 의미상 관련된 불충분한 증거에서는 완전히 실패하는 상황이 발생합니다.

방법론: NEI-CAP

이를 해결하기 위해 저자들은 NEI 증거의 구성을 평가의 명시적 변수로 취급하는 진단 프레임워크인 NEI-CAP(NEI 구성 인지 프로토콜) 을 소개합니다.

1. 구성 분류 체계

NEI-CAP 은 불충분한 증거가 생성된 방식에 따라 NEI 예시를 특정 구성 계열로 분류합니다. 이 분류 체계는 다음을 구분합니다:

• 단축 경로에 취약한 구성: 형식, 주제, 또는 위치 단축 경로를 노출하도록 설계된 예시.
  • 플레이스홀더: 고정되거나 빈 증거 마커.
  • 무작위 관련 없음: 관련 없는 주제의 증거.
  • 위치 편향: 예측 가능한 문서 위치에서 추출된 비근거 증거.
• **의미상 관련된 불충분한 증거 **(Hard NEI) 증거가 주제적으로 관련되지만 논리적으로 불완전한 예시.
  • BM25 근접 실패: 높은 어휘 중복도를 보이지만 지지력이 부족함.
  • 인용된 비근거: 인용된 문서에서 추출되었으나 실제 근거가 아닌 증거.
  • 동일 문서 내 비근거: 동일한 소스 문서에서 추출된 비근거 증거.
  • Hop 누락: 필수 사실이 제거된 멀티-hop 증거.

2. 진단 워크플로우

프로토콜은 다음 다섯 단계로 진행됩니다:

1. **구성 **(Construct) 각 예시에 구성 계열 ($z$) 과 그룹 ID($g$) 를 할당합니다. 모델은 $z$를 절대 접하지 않으며, 이는 감사 및 층화 보고를 위해만 사용됩니다.
2. **감사 **(Audit) 모델이 이용할 수 있는 표면적 단서 (길이, 중복도, 커버리지 등) 를 식별하기 위해 단축 경로 특성을 측정합니다.
3. **검증 **(Validate) 인간 판정을 통해 "후보" Hard NEI 를 실제로 지지됨, 반박됨, 또는 모호한 예시와 분리합니다. 이를 통해 "인간 판정 Hard-NEI" 하위 집합을 생성합니다.
4. **스트레스 테스트 **(Stress-test) 특정 구성 계열로 훈련된 모델을 다른 계열에 대해 평가하여 전이성을 테스트합니다.
5. **보고 **(Report) 집계 점수 대신 구성 계열별로 세분화된 지표를 공개합니다.

3. 실험 설정

이 프로토콜은 주로 SciFact(과학적 주장 검증) 에서 구현되었으며, FEVER와 HoVer는 제한된 외부 통제 변수로 활용됩니다.

• 모델: 주요 검증기는 DeBERTa-v3-base 이며, RoBERTa 와 SciBERT 를 보조 백본으로 사용합니다.
• 훈련 체계: 모델들은 단일 구성 계열 (예: 플레이스홀더만) 이나 혼합 체계 (쉬운, 어려운, 또는 균형 잡힌 혼합) 로 훈련됩니다.
• 평가: 구성 이동 행렬 (A 계열로 훈련, B 계열로 테스트) 과 인간 판정 Hard-NEI 재현율을 사용합니다.

주요 결과

1. 단축 경로에 취약한 훈련의 전이 실패

"쉬운" NEI 구성 (예: 플레이스홀더) 으로 훈련된 모델은 일치하는 테스트 세트에서 완벽한 NEI-F1 을 달성하지만, "어려운" 구성 (BM25 근접 실패 또는 인용된 비근거) 으로 평가될 때 NEI-F1 이 0.000으로 붕괴합니다.

• 이 실패는 보정 인공물이 아닙니다. 확률 질량이 완전히 SUPPORT 또는 REFUTE 로 이동합니다.
• 이 붕괴는 다양한 모델 아키텍처 (DeBERTa, RoBERTa, SciBERT) 와 무작위 시드에서도 안정적으로 관찰됩니다.

2. 인간 판정 Hard NEI 가 드러내는 모델의 약점

인간이 검증한 Hard-NEI 하위 집합 (54 개 예시) 에서 플레이스홀더나 위치 편향 데이터로 훈련된 모델들은 0.000 재현율을 보입니다. 이들은 높은 확신으로 SUPPORT(거짓 양성) 를 압도적으로 예측합니다.

• 플레이스홀더보다 덜 극단적인 "무작위 관련 없음" 훈련조차 Hard 불충분성에 일반화되지 못합니다 (재현율 0.216).
• Hard 구성 (BM25/인용) 으로 훈련된 모델만이 부분적인 회복을 보이지만, 완벽한 전이를 달성하지는 못합니다.

3. 혼합 훈련이 구성 민감성을 제거하지 못함

혼합 구성 체계 (쉬운 예시와 어려운 예시 결합) 로 훈련하는 것은 단일 계열 훈련에 비해 Hard-NEI 재현율을 향상시키지만, 성능 격차를 제거하지는 못합니다.

• "균형 잡힌" 혼합물로 훈련된 모델들도 여전히 구성별 층화 프로필을 보이며, 어려운 조건보다 쉬운 조건에서 훨씬 더 잘 수행합니다.
• 이는 혼합 훈련이 더 강력한 스트레스 테스트가 될 수는 있지만, 구성 인지 보고를 대체할 수는 없음을 시사합니다.

4. 비 NEI 라벨에 미치는 영향

고정된 주장 진단은 NEI 구성 선택이 모델의 SUPPORT 및 REFUTE 라벨에 대한 확신에 영향을 미친다는 것을 보여줍니다. 참조 증거가 불충분한 증거로 교체될 때, 쉬운 NEI 로 훈련된 모델은 원래 라벨에 대한 확신을 낮추지 못하는 반면, Hard NEI 로 훈련된 모델은 확률 하강을 보입니다. 이는 구성 인공물이 NEI 부분뿐만 아니라 전체 3 가지 분류 작업 전체에 영향을 미친다는 것을 시사합니다.

기여 사항

1. NEI 재정의: 본 논문은 NEI 를 단일 부정 라벨이 아닌 구성 민감 증거 조건으로 재해석합니다.
2. NEI-CAP 프로토콜: 구성 계열을 명시적으로 추적하고, 단축 경로 특성을 감사하며, 인간 판정을 통해 Hard 사례를 검증하는 진단 프로토콜을 도입합니다.
3. 실패에 대한 실증적 증거: SciFact, FEVER, HoVer 실험을 통해 단축 경로에 취약한 훈련이 의미상 관련된 불충분한 증거로 전이되지 않으며, 집계된 NEI-F1 점수가 이러한 실패를 숨길 수 있음을 입증합니다.

중요성과 주장

본 논문은 집계된 NEI-F1 점수는 사실 검증 시스템을 평가하기에 불충분하다고 주장합니다. 왜냐하면 이러한 점수가 모델이 진정한 증거 불충분을 인식하도록 학습했는지, 아니면 단순히 NEI 예시가 어떻게 구성되었는지에 대한 인공물만을 인식하도록 학습했는지를 숨길 수 있기 때문입니다.

• 적은 범위: 저자들은 NEI-CAP 이 증거 불충분 추론에 대한 완전한 해결책이 아닌 진단 프로토콜임을 명시적으로 밝힙니다. 이는 구성 민감성을 식별하고 감사 도구를 제공하지만, 범용 불충분 추론을 보장하지는 않습니다.
• 보고의 엄격성: 주요 기여는 보고 관행의 변화입니다. 모든 NEI 결과는 이를 생성한 구성 계열과 함께 보고되어야 합니다.
• 한계: 가장 강력한 증거는 SciFact 스타일의 과학적 검증에서 도출되었습니다. FEVER 와 HoVer 는 제한된 통제 변수로 사용되었으며, 이 맥락에서는 인간이 검증한 Hard-NEI 벤치마크가 아닙니다. 논문은 다른 도메인에서는 추가적인 구성 계열이 필요할 수 있으며, 인간 검증은 라벨 유효성 위험을 줄이지만 완전히 제거하지는 못한다고 인정합니다.

결론적으로, 본 논문은 불충분한 증거의 구성이 사실 검증 시스템이 의도된 능력을 학습하고 데이터셋 특유의 단축 경로를 학습하지 않도록 보장하기 위해, 라벨과 지표와 함께 평가 프로토콜의 핵심 부분으로 취급되어야 한다고 주장합니다.