기술 요약: 단일 모달리티 지름길을 넘어: 교차 모달 추론 도구로서의 MLLM 기반 근거 기반 개체명 인식(Grounded NER)

1. 문제 정의 및 동기

**근거 기반 멀티모달 개체명 인식(Grounded Multimodal Named Entity Recognition, GMNER)**은 모델이 텍스트 내의 개체명을 식별하고, 그들의 의미적 유형을 분류하며, 동시에 연관된 이미지 내의 대응하는 시각적 바운딩 박스에 이를 근거(grounding)시키는 작업을 요구하는 과업이다. 멀티모달 거대 언어 모델(MLLM)은 시각-언어 작업에서 유망한 가능성을 보여왔으나, GMNER에 직접 적용할 경우 결정적인 병리 현상인 **모달리티 편향(modality bias)**에 직면하게 된다.

저자들은 현재의 MLLM이 엄격한 교차 모달 검증에 참여하기보다 **단일 모달 인지 지름길(unimodal cognitive shortcuts)**에 의존하는 경향이 있음을 확인했다. 이는 두 가지 주요 오류 패턴으로 나타난다:

• 텍스트 편향(Textual Bias): 모델이 시각적 증거를 무시하고, 텍end 텍스트의 휴리스틱(예: 텍s에 이름이 언급되었다는 이유로 "Iggy"를 이미지 속의 특정 인물에게 근거시키는 것, 실제 이미지는 다른 사람을 보여주고 있음에도 불구하고)에 기반하여 텍스트 전용 개체를 시각적 영역에 잘못 연결함.
• 시각 편향(Visual Bias): 모델이 텍스트의 의미론을 간과하고, 텍스트에 존재하지 않는 시각적 단서에 기반하여 개체나 위치를 환각(hallucination)함 (예: 문장에 언급되지 않았음에도 시각적으로 등장한다는 이유로 "Manchester United"를 개체로 회상함).

기존 방식들은 MLLM을 계단식 파이프라인(예: 이미지 설명용으로만 사용) 내의 보조 도구로 취급하는 경우가 많으며, 이는 누적된 오류 전파와 계산 오버헤드를 초0를 유발한다. 본 연구는 MLLM의 교차 모달 추론 잠재력을 완전히 활용하면서 이러한 편향을 완화하기 위해, GMNER를 엔드 투 엔드 생성형 추론 작업으로 재정의하는 것을 목표로 한다.

2. 방법론: 모달리티 인식 일관성 추론 (Modality-aware Consistency Reasoning, MCR)

모달리티 편향을 해결하기 위해, 저자들은 구조화된 교차 모달 추론을 강제하는 프레임워크인 **모달리티 인식 일관성 추론(MCR)**을 제안한다. MCR은 두 가지 핵심 단계로 구성된다:

2.1 다중 스타일 추론 스키마 주입 (Multi-style Reasoning Schema Injection, MRSI)

MRSI는 추상적인 제약 조건을 실행 가능한 추론 체인으로 변환하는 것을 목표로 한다.

• 핵리 제약 조건: 프레임워크는 작업과 정렬된 네 가지 특정 제약 조건을 정의한다: 개체 인식($C_s$), 유형 분류($C_t$), 시각적 함의($C_e$), 시각적 근거 제시($C_u$).
• 다양한 스키마 생성: LLM과 MLLM을 사용하여, 저자들은 이러한 제약 조건을 준수하는 다양한 추론 궤적($D_R$) 데이터셋을 생성한다. 이러한 궤적은 스타일(예: 단계별 분석, 포맷팅된 출력, 결론 지향적 방식) 면에서 다양하게 구성되어, 모델이 하나의 편향된 추론 경로로 수렴하는 것을 방지한다.
• 지도 미세 조정 (Supervised Fine-Tuning, SFT): 이러한 다양한 추론 스키마의 일부를 SFT를 통해 MLLM에 주입한다. 이는 모델이 최종 답변을 생성하기 전에 명시적으로 교차 모달 일관성을 점검하는 추론 경로를 유지하도록 강제한다.

2.2 제약 조건 가이드 검증 최적화 (Constraint-guided Verifiable Optimization, CVO)

CVO는 남은 다양한 추론 데이터를 활용하여 **그룹 상대적 정책 최적화(Group Relative Policy Optimization, GRPO)**를 통해 모델의 추론 능력을 더욱 최적화한다.

• 검증 가능한 보상 함수: 학습된 보상 모델에 의존하는 전통적인 RLHF와 달리, CVO는 핵심 제약 조건에 고정된 규칙 기반의 검증 가능한 보상 함수를 사용한다. 여기에는 다음이 포함된다:
  • 개체 수, 범위 및 유형 보상: F1 점수 및 예측된 개체를 정답(ground truth)과 매칭하는 방식에 기반함.
  • 시각적 근거 제시 보상: 예측된 바운딩 박스와 정답 바운딩 박스 사이의 IoU(Intersection-over-Union)에 기반함.
  • 함의(Entailment) 보상: 모델이 개체가 가시적인지 혹은 부재하는지(None)를 올바르게 식별하는지에 대한 이진 체크.
• 최적화 과정: 모델은 주어진 쿼리에 대해 다양한 응답 그룹을 생성한다. 각 응답에 대해 검증 가능한 보상이 계산되고 그룹 이득(group advantage)이 산출된다. 정책은 단일 모달 지름길을 사용하는 것에 페널티를 부여하면서 보상을 최대화하도록 업데이트되며, 결과적으로 모델이 "제약 조건에 충실한(constraint-faithful)" 근거를 생성하도록 유도한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 주장한다:

1. 모달리티 편향 진단: 저자들은 엔드 투 엔드 GMNER에서 MLLM이 단일 모달 인지 지름길을 취하는 경향을 식별하고 정량화하였으며, 모델이 엄격한 교차 모달 검증 없이 상관관계를 환각하는 경우가 많음을 밝혀냈다.
2. MCR 프레임워크: 스키마 주입(MRSI)과 검증 가능한 최적화(CVO)를 통해 명시적이고 제약 조건에 충실한 추론을 강제하여 모달리티 편향을 완화하는 새로운 프레임워크를 제안한다.
3. 성능 우위: 제안된 방법은 기존 베이스라인들에 비해 여러 벤치마크에서 우수한 성능을 달را하며, 구조화된 추론이 정밀한 교차 모달 근거 제시를 위해 필수적임을 입증한다.

4. 실험 결과

저자들은 Twitter-GMNER 데이터셋과 더불어 MNER-MI(MNER용) 및 GREC(시각적 근거 제시용)에서 MCR을 평가하였다. 또한 Qwen2.5VL(7B 및 72B)과 MimoVL-7B를 대상으로 테스트를 진행하였다.

• 주요 결과: GMNER 작업에서 MCR(Qwen2.5VL-7B에 적용)은 **70.6%**의 F1 점수를 달성하여, 이전의 최고 통합 방법인 MQSPN보다 11.87%, 최고 파이프라인 방식인 SCANNER보다 2.11% 높은 성능을 기록했다. 또한 7B 모델에서 직접적인 지도 미세 조정(SFT)보다 약 8% 높은 성능을 보였다.
• 편향 완화:
  • 시각 편향: 정량적 분석 결과, MCR은 텍스트에 없는 개체를 환각하는 비율(N-Rate)을 거의 무시할 만한 수준(Qwen2.5VL-7B 기준 0.1%)으로 낮추었으며, 이는 CoT 및 퓨샷 프롬프팅에 비해 상당한 개선이다.
  • 텍스트 편향: 시각적 위치가 없는 개체를 올바르게 식별하는 능력(N-Pre, N-Rec) 지표가 SFT 대비 거의 14% 향상되었으며, 이는 모델이 텍스트와 이미지 사이의 함의를 판단하는 능력이 좋아졌음을 나타낸다.
• 절제 연구(Ablation Studies): MRSI를 제거했을 때 F1 점수가 18.95% 급락하여 추론 경로의 필요성을 확인했다. CVO를 제거하면 MRSI 단독 사용 시보다 미미한 이득만을 얻었으며, 이는 검증 능력을 정교화하는 데 있어 최적화 단계의 중요성을 강조한다. 또한 다중 스타일 추론 스키마가 단일 스타일 스키마보다 훈련을 안정화하고 최종 보상을 높이는 데 우수함을 보여주었다.

5. 의의 및 한계

의의:
본 논문은 효과적인 엔드 투 엔드 GMNER를 가로막는 주요 장벽이 역량의 부족이 아니라, 단일 모달 휴리스틱에 대한 의존성이라고 주장한다. 특징 정렬(feature alignment)에서 구조화된 교차 모달 추론으로 패러다임을 전환함으로써, MCR은 MLLM이 엄격한 일관성 검증을 수행할 수 있게 한다. 이 접근 방식은 계단식 파이프라인에 내재된 오류 전파 없이 지식 그래프 구축을 촉진하고 지식 기반 질의응답을 용이하게 하는 새로운 경로를 제공한다.

한계:
저자들은 MCR이 기본 MLLM의 내재적 파라미터 지식 한계에 의해 제약을 받는다는 점을 인정한다. MCR은 개체 인식을 위해 모델의 내부 지식 베이스에 의존하므로, 사전 학습 코퍼스에 존재하지 않는 **미학습 개체(unseen entities)**에 대해서는 일반화에 어려움을 겪을 수 있다. 또한, 특정 개체의 외형(예: 특정 유명인의 외모)에 대한 모델의 시각적 친숙도 문제를 본질적으로 해결하지는 못한다.