기술 요약: 근거 기반인가, 추측인가? 수어 번역의 환각 탐지를 위한 시각적 신호

1. 문제 정의

수어 번역(SLT)은 시각적 양상이 보조적인 문맥이 아니라 소스 언어 그 자체인 독특한 비디오-텍스트 변환 작업입니다. 현대적 SLT 시스템, 특히 글로스 프리(gloss-free) 아키텍처와 대규모 언어 모델(LLM) 백본을 사용하는 모델에서 나타나는 치명적인 실패 모드는 **환각(hallucination)**입니다. 이 문맥에서 환각은 생성된 토큰이 서명된 비디오 증거에 의해 뒷받침되지 않는 현상으로 정의됩니다.

최근의 글로스 프리 모델들은 비용이 많이 드는 중간 글로스 주석(gloss annotation)의 필요성을 제거함으로써 확장성 문제를 해결했지만, 새로운 취약성을 도입했습니다. 즉, 시각적 표현이 모호하거나 품질이 낮을 때 디코더가 시각적 입력보다는 **언어적 사전 지식(language priors)**에 과도하게 의존하는 경향을 보인다는 것입니다. 이는 유창하지만 사실 관계가 틀린 번역 결과를 초래합니다. 신뢰도(confidence), 엔트로피(entropy), 퍼플렉시티(perplexity)와 같은 텍스트 고유의 신호에 의존하는 기존의 환각 탐지 방법들은, 특정 토큰이 언어적 패턴에 기반하여 자신 있게 예측된 것인지, 아니면 실제 시각적 증거에 기반하여 자신 있게 예측된 것인지를 구분하지 못합니다.

2. 방법론

저자들은 **근거 사용량(grounding usage)**에 기반한 새로운 신뢰도 측정법을 제안하며, 이는 생성된 토큰이 언어적 사전 지식 대비 비디오 증거에 얼마나 의존하는지를 정량화합니다. 이 방법은 토큰 수준에서 작동하며, 카운터팩츄얼(counterfactual, 반사실적) 분석을 통해 문장 수준으로 집계됩니다.

2.1 핵심 직관

각 디코딩 단계에서 모델은 다음 토큰을 비디오 신호에 근거하여 생성(grounding)하거나, 언어적 사전 지식으로부터 추측(guessing)합니다. 제안된 방법은 실제 비디오 입력 상황과 시각적 입력이 변경된 카운터팩츄얼 시나리오에서의 모델 행동을 비교함으로써 이러한 의존도를 측정합니다.

2.2 신호 구성 요소

신뢰도 점수는 두 가지 유형의 증거로부터 도출됩니다:

1. 특징 기반 민감도 (내부 의존성):

   • 은닉 상태 민감도 (Hidden State Sensitivity): 비디오 입력이 제거(마스킹)되었을 때와 존재할 때의 디코더 은닉 상태의 방향성 변화(정규화된 각도 거리)를 측정합니다. 각도가 클수록 비디오에 대한 의존도가 높음을 의미합니다.
   • 교차 주의 집중 사용량 (Cross-Attention Usage): 디코더 토큰에서 비디오 인코더 위치로 향하는 어텐션 질량(attention mass)을 집계합니다. 깨끗한 비디오 하에서의 어텐션과 마스킹된 비디오 하에서의 어텐션 차이는 시각적 근거의 정도를 나타냅니다.

2. 카운터팩츄얼 신호 (외부 증거):

   • 시스템은 동일한 접두사(prefix)를 조건으로 세 가지 병렬 디코딩 과정을 실행합니다:
     1. Clean (정상): 실제 비디오($x$)와 함께 수행.
     2. No-Video (비디오 없음): 시각적 인코더가 비활성화된 상태($\emptyset$).
     3. Mismatched (불일치): 섞이거나 관련 없는 비디오($x'$)와 함께 수행.
   • 확률 마진 (Probability Margins): 정상 과정의 로그 확률과 가장 강력한 카운터팩츄얼(비디오 없음 또는 불일치 비디오 과정의 최대 확률) 간의 로그 확률 및 로짓(logit) 차이를 계산합니다.
   • 장점: 절대적인 확률 이득($\Delta_{clean}$ 및 $\Delta_{mis}$)을 계산하여, 올바른 비디오가 대안들보다 예측을 능동적으로 개선하는지 여부를 결정합니다.

2.3 융합 및 집계

• 토큰 수준: 특징 기반 신호와 카운터팩츄얼 신호의 선형 융합을 시그모이드 활성화 함수에 통과시켜 토큰 수준의 신뢰도 점수($r_t$)를 얻습니다.
• 문장 수준: 가장 낮은 신뢰도를 가진 토큰들을 식별하기 위해 tail-10 풀링(하위 10% 토큰의 평균)을 사용하여 토큰 점수를 집계합니다. 이는 환각 위험을 가장 잘 나타내는 가장 신뢰도가 낮은 부분에 집중합니다.
• 통합: 근거 기반 신뢰도는 "META" 변형 모델에서 표준 텍스트 전용 베이스라인(신뢰도, 퍼플렉시티, 엔트로피)과 결합되어 종합적인 환각 위험 추정기를 생성합니다.

3. 주요 기여

• SLT 환각에 대한 첫 번째 조사: 본 연구는 수어 번역 영역 내에서 발생하는 환각을 명시적으로 조사하고 특성화한 최초의 연구입니다.
• 근거 사용량 지표: 시각적 증거를 통해 생성된 토큰과 언어적 사전 지식에 의해 추측된 토큰을 구분하여, 시각적 근거(visual grounding)를 정량화하는 새로운 신뢰도 측정법을 도입했습니다.
• 카운터팩츄얼 프레임워크: 내부 모델 상태 변화와 외부 확률 변화를 모두 포착하기 위해 카운터팩츄얼 섭동(비디오 마스킹 및 미스매칭)을 사용하는 스코어링 프레임워크를 설계했습니다.
• 경험적 검증: 제안된 방법이 환각 탐지에 있어 텍스트 전용 베이스라인보다 우수하며, 언어적 불확실성 척도와 결합했을 때 상호 보완적인 정보를 제공함을 입증했습니다.

4. 실험 결과

방법론은 PHOENIX-2014T(독일 수어)와 CSL-Daily(중국 수어)라는 두 가지 벤치마크에서 글로스 기반(TwoStream-SLT) 및 글로스 프리(SpaMo) 모델을 대상으로 평가되었습니다.

• 환각과의 상관관계: 제안된 신뢰도 점수와 CHAIR(이미지 관련성을 고려한 캡션 환각 평가) 지표 사이에는 강한 음의 상관관계가 존재합니다. 근거 사용량이 증가할수록 환각률은 감소합니다.
• 탐지 성능: 근거 기반 신뢰도는 이진 환각 탐지에서 텍스트 전용 베이스라인(신뢰도, 퍼플렉시티, 엔트로피)을 유의미하게 능가합니다.
  • CSL-Daily (글로스 프리) 모델의 경우, 제안된 방식은 0.951의 AUC와 0.970의 정확도를 달성한 반면, 최상의 텍스트 전용 베이스라인(신뢰도)은 약 0.953 AUC와 0.868 정확도를 기록했습니다.
  • 결합된 META 변형 모델은 가장 높은 성능을 보여, CSL-Daily (글로스 프리)에서 0.963의 AUC와 0.883의 정확도에 도달했습니다.
• 회귀 성능: 신뢰도 점수는 연속적인 CHAIR 비율을 효과적으로 예측하며, CSL-Daily (글로스 프리)에서 $\rho = -0.680$의 스피어만 상관계수를 달성했습니다.
• 일반화: 한 데이터셋/모델 제품군에서 학습된 신뢰도 가중치는 다른 곳에서도 견고하게 전이되지만, 토큰화의 세밀함과 환각 발생 빈도의 차이로 인해 글로스 기반 모델에서 글로스 프리 모델로 전이될 때 성능이 약간 저하됩니다.
• 스트레스 테스트: 시각적 열화(가우시안 노이즈, 프레임 드롭) 상황에서 신뢰도 점수가 감소하여, 시각 정보 품질에 대한 민감도를 확인했습니다.
• 글로스 프리 vs. 글로스 기반: 분석 결과, 글로스 프리 모델은 시각 정보를 체계적으로 과소 활용하고 언어적 사전 지식으로 회귀하기 때문에 더 빈번하게 환각을 일으키는 것으로 나타났습니다. 토큰 수준 분포를 보면 글로스 프리 모델이 글로스 기반 모델에 비해 더 낮은 로그 마진과 더 작은 은닉 상태 민감도 각도를 가집니다.

5. 의의 및 주장

본 논문은 멀티모달 생성에서의 환각 탐지는 텍스트 고유의 신호만으로는 완전히 설명될 수 없다고 주장합니다. 시각적 입력이 소스 언어인 SLT에서, "추측"(언어적 사전 지식에 의존)과 "근거"(시각적 증거에 의존)를 구분하는 것은 매우 중요합니다.

저자들은 다음을 확립했습니다:

1. 신뢰도는 실용적인 도구이다: 제안된 척도는 참조 번역(reference translation) 없이도 SLT의 환각을 진단할 수 있는 재사용 가능하고 해석 가능한 도구를 제공합니다.
2. 상호 보완성: 시각적 근거 신호는 텍스트 기반의 불확실성 척도와 상호 보완적인 정보를 제공합니다. 이를 결합하면 가장 강력한 탐지 프레임워크를 구축할 수 있습니다.
3. 글로스 프리 에러의 근본 원인: 글로스 프리 모델에서 나타나는 언어적 사전 지식에 대한 체계적인 과잉 의존이 높은 환각률의 주요 원인입니다. 중간 단계의 글로스 감독이 부족하여 디코더가 시각적 증거로부터 이탈하게 됩니다.
4. 기초 연구로서의 가치: 이 연구는 언어적 유창성으로부터 시각적 근거의 기여도를 명시적으로 분리함으로써, 더욱 견고한 멀티모달 생성 환각 탐지를 위한 기초를 마련합니다.

결론적으로, 견고한 멀티모달 모델은 추측(유창성을 위함)과 근거(사실적 정확성을 위함) 사이의 균형을 맞추어야 하며, 이 균형을 명시적으로 측정하는 것이 신뢰할 수 있는 SLT 시스템 구축에 필수적입니다.