Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

기술 요약: 텍스트를 부분적 제약으로 간주하기 (Text as Partial Constraint, TPC)

문제 정의
시각-언어 정렬(Vision-language alignment)은 개방형 어휘 인식, 검색 및 대규모 시각-언어 모델(LVLM)의 근간을 이룹니다. 그러나 자연어 감독(supervision)은 본질적으로 불완전합니다. 캡션은 종종 세부 사항을 누락하거나, 공유된 맥락에 의존하거나, 표현 방식이 크게 다를 수 있습니다. 기존 방법들은 각 캡션을 완전한 타겟으로 취급하여, 모델이 다른 유효한 설명에는 존재하지 않을 수도 있는 뷰(view)별 세부 사항에까지 정렬하도록 강제합니다. 이는 "취약한(brittle)" 매칭(패러프레이징 시 성능 저하), "과잉 확신(over-confident)" 예측(텍스트 제약이 약할 때도 모델이 매우 높은 확신을 갖는 현상), 그리고 LVLM에서의 다운스트림 환각(hallucination) 현상을 초래합니다. 본 논문은 현재의 모델들이 "말해지지 않은(unsaid)" 잔차(residual)—즉, 동일한 이미지에 대한 여러 캡션 뷰 사이에서 일관되게 지지되지 않는 뷰별 편차—에 과도하게 몰입하고 있음을 지적합니다.

방법론: 텍스트를 부분적 제약으로 간주하기 (TPC)
저자들은 자연어 캡션을 완전한 타겟이 아닌 부분적 제약으로 재정의하는 핵심-잔차 정렬 프레임워크인 TPC를 제안합니다. 이 방법은 이미지에 대한 다중 캡션 뷰가 안정적인 "합의된 핵심(consensus core)"을 공유하는 동시에 서로 다른 "말해지지 않은" 잔차 공간에서 갈라진다는 전제하에 작동합니다.

프레임워크는 네 가지 핵심 구성 요소로 이루어집니다:

1. 다중 뷰 합의된 핵심 (Multi-View Consensus Core): $K$개의 캡션 뷰를 가진 이미지에 대해, 합의된 핵심 $c_i$는 텍스트 임베딩의 정규화된 평균 방향으로 정의됩니다. 이 핵심은 공유되고 뷰에 불변하는 의미론을 나타냅니다.
2. 단일 뷰 핵심 필터 (Single-View Core Filter): 단일 쿼리 텍스트로 배포가 가능하도록, 단일 뷰 임베딩 $t_{i,k}$로부터 합의된 핵심 $c_i$를 예측하는 경량 선형 필터 $\psi_\theta$를 학습시킵니다. 이를 통해 모델은 여러 개의 캡션 없이도 추론 과정에서 견고한 의미론적 타겟을 복구할 수 있습니다.
3. 말해지지 않은 잔차 억제 (Unsaid Residual Suppression): 텍스트 임베딩은 예측된 핵심과 직교하는 "말해지지 않은" 잔차 $r_{i,k}$로 분해됩니다. 비몰입 정규화(non-commitment regularizer)는 이미지 임베딩과 이러한 잔차 사이의 정렬을 명시적으로 처벌하여, 모델이 뷰별 세부 사항에 과적합되는 것을 방지합니다.
4. 불확실성 인지 대조 정렬 (Uncertainty-Aware Contrastive Alignment): 합의된 핵심에 대한 $K$개 캡션 뷰 간의 불일치(분산)를 기반으로 불확실성 지표 $u_i$를 계산합니다. 이 불확실성은 InfoNCE 손실의 온도 매개변수 $\tau_i$를 조절합니다. 캡션이 불일치할 때(높은 불확실성)는 정렬을 "부드럽게(soften)" 하여 과잉 확신 업데이트를 줄이고, 캡션이 일치할 때는 정렬을 날카롭게 만듭니다.

전체 학습 목적 함수는 핵심 정렬 손실, 단일 뷰 필터가 합의된 핵심과 일치하도록 보장하는 일치 손실, 그리고 잔차를 억제하는 비몰입 손실을 결합합니다.

주요 기여

1. 언어적 미지정성(Underspecification)의 공식화: 본 논문은 캡션 뷰의 변동성을 언어적 미지정성의 한 형태로 공식화하고, "말해지지 않은" 잔차에 대한 과잉 몰입이 취약성과 환각의 주요 메커니즘임을 식별했습니다.
2. 핵심-잔차 프레임워크: 뷰에 불변하는 의미론을 우선시하며, 단일 쿼리로도 사용 가능하면서 텍스트 제약의 강도를 추적하는 신뢰도 점수를 생성하는 학습 원칙을 도입했습니다.
3. 이론적 정당화: 저자들은 핵심 정렬을 높이고 잔차 민감도를 낮춤으로써 견고성이 향다는 것을 보여주는 이론적 경계(bounds)를 제공합니다. 또한, 다중 뷰 합의가 불완전한 텍스트 감독에 대한 노이즈 제거 메커즘으로 작용함을 통계적 일반화 보장과 함께 입증했습니다.

실험 결과
TPC는 제로샷 인식, 적대적 견고성, LVLM 전이 성능에 대해 평가되었습니다:

• 제로샷 인식: ImageNet에서 TPC는 클린(clean) 환경에서 81.42%, 로버스트(robust) 환경에서 **64.05%**의 Top-1 정확도를 달성하여, 가장 강력한 로버스트 베이스라인인 Adv-W2S를 각각 +5.58/+5.75 차이로 앞질렀습니다. Avg-14 전이 스위트에서는 76.19% 클린 및 52.03% 로버스트 정확도를 기록했습니다.
• LVLM 전이: LLaVA-1.5-7B의 비전 인코더로 사용되었을 때, TPC는 객체 환각 지표를 개선하여 평균 85.16 POPE F1 점수(Adv-W2S 대비 +1.36)와 59.57 OKVQA 정확도를 달성했습니다.
• 견고성 분석: TPC는 캡션 선택에 대한 민감도가 낮고(낮은 랭크 휘발성), 약한 텍스트 제약 하에서 더 나은 캘리브레이션 성능을 보였습니다. 제어된 캡션 삭제를 포함한 스트레스 테스트에서, TPC는 표준 CLIP 파인튜닝에 비해 더 높은 정확도와 더 낮은 기대 캘리브레이션 오차(ECE)를 유지했습니다.

의의 및 주장
본 논문은 텍스트를 부분적 제약으로 모델링하는 것이 더 신뢰할 수 있는 시각-언어 표현을 위한 실용적이고 원칙적인 경로라고 주장합니다. 안정적인 의미론적 핵심과 불안정한 뷰별 잔차를 명시적으로 분리함으로써, TPC는 취약한 언어 감독의 근본 원인인 과잉 몰입 문제를 해결합니다. 저자들은 이 접근 방식이 다운스트림 LVLM의 아키텍처를 변경할 필요 없이, 오히려 환각을 줄이기 위한 디코딩 및 커넥터 레벨의 수정 사항을 보완하는 더 견고한 "지각적 백본(perceptual backbone)"을 제공한다고 강조합니다. 이 방법은 기존의 디코딩 및 커넥터 레벨의 환각 해결책을 보완하는 드롭인 교체(drop-in replacement) 가능한 비전 인코더로 제시됩니다.