기술 요약: SAVER – 멀티모달 정보 추출을 위한 선택적 필요 기반 시각 증거

1. 문제 정의

소셜 미디어에서의 멀티모달 정보 추출 (IE) 은 고유한 도전에 직면해 있습니다: 게시물은 종종 accompanying 텍스트와 비교해 약하게 연관되거나, 중복되거나, 심지어 오해의 소지가 있는 여러 이미지를 포함합니다. 전통적인 접근 방식은 일반적으로 "상시 작동 (always-on)" 멀티모달 융합을 사용하여 모든 사용 가능한 시각적 특징을 텍스트와 연결하거나 주의 깊게 융합합니다. 이 전략은 다음과 같은 이유로 이 맥락에서 비효율적이고 역효과를 낼 수 있습니다:

• 계산적 낭비: 관련성과 상관없이 모든 이미지를 처리하면 지연 시간과 FLOPs(부동 소수점 연산 횟수) 가 증가합니다.
• 잡음 증폭: 이미지가 관련이 없을 때 상시 작동 융합은 우연한 교차 모달 상관관계를 증폭시킬 수 있습니다.
• Groundability 라벨 부재: 훈련 데이터는 개체와 관계를 주석 처리하지만, 특정 텍스트 단위 (예: 개체 범위 또는 관계 쌍) 가 시각적으로 근거가 있는지 여부를 거의 나타내지 않아, 언제 시각을 참조해야 하는지 학습하기 어렵습니다.

핵심적인 과제는 각 예측 단위에 대해 시각을 참조해야 하는지 여부를 결정하고, 만약 그렇다면 신뢰할 수 있는 증거를 제공하는 이미지의 작은 하위 집합이 무엇인지 파악하는 것입니다.

2. 방법론: SAVER 프레임워크

SAVER(선택적 필요 기반 시각 증거) 는 시각을 필수 입력 채널이 아닌 선택적 증거로 취급함으로써 이러한 문제를 해결합니다. 이 프레임워크는 네 가지 주요 단계로 구성된 모듈식 파이프라인을 통해 작동합니다:

2.1 작업 설정 및 표현

SAVER 는 두 가지 작업을 대상으로 합니다:

• 멀티모달 개체명 인식 (MNER): 개체 범위와 유형을 식별합니다.
• 멀티모달 관계 추출 (MRE): 표시된 개체 쌍 간의 관계를 분류합니다.

시스템은 토큰/범위 표현을 생성하기 위한 텍스트 인코더와 전역 이미지 벡터를 생성하기 위한 시각 인코더를 사용합니다. 지역 수준 벡터는 필요할 때만 추출됩니다.

2.2 Conformal Groundability 게이트 (CGG)

CGG 는 시각을 언제 사용할지 결정하는 핵심 메커니즘입니다.

• 점수 매기기: 후보 범위 (MNER 의 경우) 또는 개체 쌍 (MRE 의 경우) 에 대해 게이트는 캐시된 전역 이미지 벡터만 사용하여 "groundability 점수 ($g$)"를 계산합니다. 게이트가 활성화되지 않는 한 지역 벡터를 추출하지 않습니다.
• 보정: 명시적인 groundability 라벨을 피하기 위해 SAVER 는 홀드아웃 분할에서 conformal 스타일의 보정 절차를 사용합니다. Clopper–Pearson 상한을 사용하여 활성화된 하위 집합의 오류율이 목표 위험 ($\alpha$) 으로 제한되도록 임계값 ($\tau$) 을 선택합니다.
• 결정: 점수가 $\tau$를 초과하면 시각 브랜치가 활성화되고, 그렇지 않으면 모델은 텍스트 전용 경로를 따릅니다.

2.3 증거 구성기 (SIS 또는 RES)

게이트가 활성화되면 SAVER 는 잠재적으로 큰 첨부 이미지 집합에서 컴팩트하고 다양한 이미지 하위 집합을 선택해야 합니다.

• 서브모듈러 이미지 선택기 (SIS): 주요 선택기는 관련성 (쿼리와의 유사성) 과 다양성 (다른 관련 이미지들의 커버리지) 을 최대화하기 위해 단조 서브모듈러 목적 함수를 사용합니다. 이는 $(1 - 1/e)$ 근사 보장을 가진 탐욕 알고리즘을 사용합니다.
• 강화 증거 선택기 (RES): 비용 인식 보상으로 최적화되는 "STOP" 동작을 통해 증거를 순차적으로 획득하는 강화 학습 (RL) 을 사용하는 선택적 확장 기능입니다.
• 집계: 선택된 이미지 (및 상위 k 개 지역) 는 순열 불변성을 보장하기 위해 Set Transformer 를 사용하여 집계됩니다.

2.4 에너지 영감 공동 점수 매기기 헤드

최종 단계는 텍스트, 선택적 시각 증거, 일관성 정규화를 통합된 점수 함수로 결합합니다.

• 융합: 텍스트 표현은 게이트 메커니즘을 통해 집계된 시각 증거 ($z_{set}$) 와 융합됩니다.
• 일관성: 일관성 점수는 융합된 텍스트 표현과 시각 증거 간의 정렬을 측정합니다.
• 목적: 모델은 작업별 손실 (범위 유효성, 유형, 관계), 일관성 정규화, 그리고 시각 브랜치 활성화에 대한 희소성 페널티를 포함하는 에너지 함수를 최소화합니다. 추론 중에는 하드 게이팅이 적용되고, 훈련 중에는 소프트 게이트가 미분 가능한 최적화를 허용합니다.

3. 주요 기여

이 논문은 세 가지 주요 기여를 제시합니다:

1. 위험 제어 게이팅: 명시적 감독 없이 시각이 필요한 시기를 효과적으로 결정하는 CGG 의 도입으로, conformal 스타일 선택 규칙을 사용하여 활성화된 하위 집합의 오류율이 제한되도록 보정된 활성화 임계값을 제공합니다.
2. 컴팩트한 다중 이미지 증거: 중복성과 계산 비용을 줄이면서 관련 정보를 보존하기 위해 작은 다양한 증거 집합을 구성하는 서브모듈러 선택기 (SIS) 의 사용.
3. 일관성 및 희소성을 갖춘 통합 점수 매기기: MNER 및 MRE 작업을 텍스트 - 이미지 일관성 및 희소 라우팅과 결합하여 정확도와 선택성을 향상시키면서 효율성을 유지하는 에너지 영감 공동 점수 매기기 헤드.

4. 실험 결과

실험은 MRE-MI(다중 이미지), MNRE(단일 이미지), 그리고 다양한 MNER 데이터셋 (Twitter-2015/2017, MNER-MI/Plus) 을 포함한 여러 벤치마크에서 수행되었습니다.

• 성능: SAVER 는 F1 점수 측면에서 강력한 텍스트 전용 베이스라인과 "상시 작동" 멀티모달 모델 (예: HVPNeT, RSRNeT) 보다 일관되게 우수한 성과를 거두었습니다. 이미지 관련성이 크게 변하는 다중 이미지 설정에서 개선 효과가 가장 두드러졌습니다.
• 효율성: SAVER 는 계산 비용을 크게 줄였습니다. MRE-MI 벤치마크에서 RSRNeT 의 샘플당 약 60G FLOPs 를 36G/sample 로, P90 지연 시간을 90ms 에서 54ms 로 줄였습니다.
• 선택성 및 보정: 이 프레임워크는 활성화된 하위 집합의 오류율을 목표 위험 수준 ($\alpha=0.10$) 이하로 유지하면서 높은 활성화 커버리지 (ActCov@0.10) 를 달성합니다. 이는 신뢰도 기반 게이팅 베이스라인보다 우수한 위험 - 활성화 - 커버리지 트레이드오프를 보여줍니다.
• Ablation 연구: CGG, SIS, 또는 공동 점수 매기기 헤드의 어떤 구성 요소를 제거해도 성능이 저하되어, 각 모듈이 시스템의 성공에 독립적으로 기여함을 확인했습니다.

5. 중요성 및 주장

이 논문은 SAVER 가 멀티모달 IE 의 패러다임 전환을 나타낸다고 주장합니다: "텍스트와 이미지를 어떻게 융합할지"에서 "언제 시각을 사용하고 어떤 이미지를 신뢰할지"로 이동하는 것입니다.

• 모듈성: 이 프레임워크는 모듈식으로 설계되어 대체 인코더나 증거 선택기의 통합을 허용합니다.
• 해석 가능성: 블랙박스 융합 모델과 달리 SAVER 는 선택된 이미지, Set Transformer 의 주의 가중치, 그리고 활성화된 단위의 일관성 점수에 대한 명시적 출력을 제공합니다.
• 실용성: 게이팅을 위해 캐시된 전역 임베딩에 의존하고 선택된 이미지에 대해서만 지역 특징을 추출함으로써, 지연 시간과 비용이 중요한 제약 조건인 실제 세계 배포에 계산적으로 실행 가능합니다.

저자들은 소셜 미디어의 특징인 노이즈가 많고 중복되며 느리게 정렬된 이미지 - 텍스트 쌍을 다룰 때 선택적 시각 사용이 특히 중요하며, 더 효율적이고 정확한 멀티모달 추출을 위한 길을 제시한다고 결론지었습니다.