💬 NLP

PEA-DPO: Perception-Enhanced Alignment Direct Preference Optimization for MLLMs Alignment

이 논문은 시각적 선호 신호를 명시적으로 활용함으로써 멀티모달 거대 언어 모델의 시각적 둔감성 문제를 해결하고, 이를 통해 언어 능력을 유지하면서도 환각 현상을 크게 줄이고 멀티모달 정렬을 개선하는 새로운 프레임워크인 인지 강화 정렬 직접 선호 최적화(Perception-Enhanced Alignment Direct Preference Optimization, PEA-DPO)를 소개한다.

원저자: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

게시일 2026-08-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jiawei Feng, Jiancan Wu, Xingyu Zhu, Junkang Wu, Xiang Wang, Xiangnan He

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능이 급격히 진화하는 세상에서, 보고 동시에 말할 수 있는 새로운 세대의 시스템이 등장했습니다. 이러한 멀티모달 거대 언어 모델은 이미지를 보고 그 장면을 묘사하거나 사진에 관한 질문에 답하도록 훈련받습니다. 이 기계들이 진정으로 유용하고 안전해지기 위해서는 인간의 가치와 일치해야 하며, 이는 그들의 답변이 정확하고 도움이 되며, 그들에게 제시된 시각적 현실에 근거해야 함을 의미합니다. 이러한 시스템을 가르치는 데 있어 주요한 과제는 환각 현상, 즉 존재하지 않는 사물이나 동작을 자신 있게 묘사하는 경향이었습니다. 이를 해결하기 위해 연구자들은 직접 선호도 최적화(direct preference optimization)라고 불리는 기술에 주목했습니다. 이는 모델에게 하나의 좋은 답변과 하나의 나쁜 답변이 쌍으로 된 답변들을 보여주고, 왜 첫 번째 답변이 더 나은지를 학습하게 하는 방법입니다. 이 접근 방식은 텍스트 전용 모델에는 놀라운 효과를 거두었지만, 이미지를 함께 처리하는 시스템에 적용했을 때, 명확한 사진과 가장 중요한 세부 사항이 가려진 사진 사이의 차이를 진정으로 "보는" 것을 방절하는 숨겨진 결함이 발견되었습니다.

중국 과학기술대학교와 싱가포르 국립대학교의 연구팀은 이 구체적인 약점을 식별하고 이를 치료할 새로운 프레임워크를 개발했습니다. 그들은 표준 훈련 방식이 이미지를 단순히 대화의 배경이나 정적인 설정으로 취급할 뿐, 모델이 의존해야 할 일차적인 진실의 원천으로 취급하지 않는다는 것을 발견했습니다. 이 때문에 모델들은 시각적으로 둔감해졌습니다. 연구진의 실험에 따르면, 이러한 모델들은 사람들이 피크닉을 즐기는 사진과 책을 읽고 있는 사진을 구분하지 못했는데, 심지어 한쪽의 시각적 증거가 완전히 제거된 경우에도 그러했습니다. 모델들은 거의 동일한 응답을 생성하며 핵심적인 시각적 단서가 누락되었다는 사실을 알아차리지 못했습니다. 또한 그들은 화장실 솔을 일반적인 도구로 혼동하는 것과 같이, 단일 이미지 내의 특정 사물을 구별하는 데 어려움을 겪었는데, 이는 그들이 사물을 정의하는 결정적인 시각적 단서에 충분히 주의를 기울이지 않았기 때문입니다.

이를 해결하기 위해 연구진은 '지각 강화 정렬(Perception-Enhanced Alignment)'이라 불리는 방법을 만들었습니다. 단순히 모델에게 더 나은 텍스트 답변을 선택하도록 가르치는 대신, 그들은 모델이 시각적 맥락 자체에 주의를 기울이도록 강제함으로써 훈련 과정을 재설계했습니다. 연구진은 먼저 선명한 이미지를 가져와 무작위로 일부 영역을 가린 일련의 변형된 버전들을 만들었습니다. 그 후 별도의 매우 민밀한 시각 시스템을 사용하여, 어떤 변형된 버전이 질문에 올바르게 답하는 데 필요한 핵심 정보를 가장 많이 잃었는지 식별하여, 핵심 세부 사항이 누락된 '거부된' 이미지를 효과적으로 만들어냈습니다. 그런 다음 이 정보가 누락된 이미지와 원래의 완전한 이미지를 쌍으로 묶었습니다. 훈련 과정에서 모델은 동일한 질문과 동일한 텍스트 답변을 받되, 완전한 이미지와 불완전한 이미지를 각각 순차적으로 보여주는 방식으로 제시되었습니다. 모델은 시각적 증거가 완전할 때는 해당 답변을 강력하게 선호해야 하며, 핵심적인 시각적 맥락이 사라졌을 때는 그 답변의 신뢰도가 낮아진다는 것을 인식하도록 학습되었습니다.

이 이중적인 접근 방식은 모델에게 두 가지를 동시에 가르쳤습니다. 첫째, 이전과 마찬가지로 좋은 텍스트 응답과 나쁜 응답을 구별하는 법을 배웠습니다. 둘째, 더 중요한 것은 시각적 증거가 주장을 뒷받침하기에 불충분할 때를 인식하는 법을 배웠다는 것입니다. 연구진은 이 새로운 방법을 70억 개의 파라미터를 가진 모델과 130억 개의 파라미터를 가진 두 가지 크기의 이미지-텍스트 모델에 대해 테스트했습니다. 결과는 놀라웠습니다. 모델이 얼마나 자주 사실이 아닌 것을 지어내는지 측정하기 위해 설계된 표준 테스트에서, 새로운 방법은 환각 현상을 상당한 수준으로 감소시켰습니다. 더 작은 모델의 경우, 한 주요 벤치마크에서 지어낸 세부 사항의 비율이 거의 3분의 1로 줄어들었고, 다른 벤치마크에서는 90% 이상 감소했습니다. 더 큰 모델 역시 유사한 개선을 보였으며, 종종 가장 진보된 상용 시스템들조차 능가하는 성능을 보여주었습니다. 모델들은 일반적인 지식에 기반해 추측하는 대신, 책 제목이나 특정 도구와 같이 사진 속에 실제로 있는 것을 정확하게 묘사하는 능력이 훨씬 향려되었습니다.

연구진은 또한 이러한 시각적 정확성에 대한 새로운 집중이 모델의 다른 작업 능력을 저하시키지 않는지 확인했습니다. 그들은 모델이 지시를 따르고 일반적인 질문에 답하는 능력을 유지하고 있으며, 어떤 경우에는 일반적인 작업에서의 성능이 오히려 약간 향상되었다는 것을 발견했습니다. 유일하게 눈에 띄는 트레이드오프는 모델이 다소 보수적으로 변했다는 점이었습니다. 즉, 확신이 없을 때 추측할 가능성이 낮아졌으며, 이는 때때로 전체적인 세부 정보의 양은 적을 수 있지만, 제공된 세부 정보는 훨씬 더 진실에 가까워졌음을 의미했습니다. 시각적 증거를 텍스트만큼 가치 있게 여기도록 명시적으로 가르침으로써, 연구진은 인공지능이 단순히 사진을 보는 것이 아니라 진정으로 '본다'는 것이 가능하다는 것을 입증했습니다. 이 연구는 기계가 시각적 세계를 이해하는 신뢰할 수 있는 파트너가 되기 위해서는, 누락된 정보의 무게를 느낄 수 있도록 훈련되어야 하며, 이를 통해 그들의 확신이 항상 눈앞에 있는 실제 명료함과 일치하도록 보장해야 함을 시사합니다.

기술 요약: PEA-DPO

문제 정의

Direct Preference Optimization (DPO)가 텍스트 전용 대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 데 효과적임이 입증되었으나, 이를 멀티모달 대규모 언어 모델(MLLM)에 직접 적용할 경우 **시각적 무감각성(visual insensitivity)**이라는 결정적인 한계가 드러납니다. 저자들은 표준적인 멀티모달 DPO가 이미지를 능동적인 선호 대상이 아닌 단순히 정적인 조건부 입력으로 취급하는 경향이 있음을 지적합니다. 결과적으로, 모델은 원본 이미지와 핵심적인 시각적 맥락이 제거된 이미지를 구분하지 못하며, 이는 응답이 시각적 증거에 약하게 근 ground(근거)를 두게 되는 결과를 초래합니다.

저자들은 표현 분석과 이론적 분해를 통해 이러한 실패를 두 가지 뚜렷한 양상으로 공식화했습니다:

이미지 간 무감각성 (Across-Image Insensitivity): 모델이 서로 다른 이미지(예: 야외 독서 활동 이미지와 피크닉 이미지 사이의 구분을 못 함)로부터 생성된 응답에 대해 거의 동일한 선호 점수를 할당하며, 이는 서로 다른 시각적 맥락 간의 변별력이 부족함을 나타냅니다.
이미지 내 무감각성 (Within-Image Insensitivity): 모델이 동일한 이미지 내에서 의미적으로 중요한 단서와 무관한 단서를 구분하지 못하며(예: 변기 솔을 일반적인 도구와 혼동함), 이로 인해 올바른 시각적 증거가 존재함에도 불구하고 환각(hallucination)을 일으킵니다.

방법론: PEA-DPO

이러한 한계를 해결하기 위해, 저자들은 **Perception-Enhanced Alignment DPO (PEA-DPO)**를 제안합니다. 이 프레임워크는 최적화 패러다임을 이미지를 정적인 컨텍스트로 취급하는 것에서 응답 품질과 시각적 맥락 선호도를 공동으로 최적화하는 방향으로 전환합니다.

1. 지각 강화 선호 데이터 구축 (Construction of Perception-Enhanced Preference Data)

이 방법은 핵심적인 시각적 맥락을 명시적으로 제거함으로써 고품질의 시각 선호 쌍을 생성합니다:

섭동 (Perturbation): 선택된 이미지( $m_w$ )에서 시작하여, 시스템은 후보 섭동 이미지 세트를 생성하기 위해 무작위 마스크를 적용합니다.
CLIP을 통한 선택: CLIP 임베딩을 사용하여 원본 이미지와 섭동 이미지 사이의 의미적 유사성을 계산합니다. 가장 결정적인 시각적 맥락이 제거되었음을 나타내는(즉, 유사도가 가장 낮은) 섭동 이미지를 **거절된 이미지( $m_l$ )**로 선택합니다.
데이터 구조: 이를 통해 모델이 완전한 이미지 $m_w$ 를 조건으로 할 때의 응답 $y_w$ 를 축소된 컨텍스트의 이미지 $m_l$ 을 조건으로 할 때보다 선호하도록 학습하는 선호 삼중항 $(x, m_w, m_l, y_w)$ 을 생성합니다.

2. 공동 최적화 목적 함수 (Joint Optimization Objective)

PEA-DPO는 두 가지 상호 보완적인 신호를 동시에 최적화하는 이중 목적 함수를 도입합니다:

응답 품질 선호 최적화 (Response Quality Preference Optimization, RPO): 동일한 이미지( $m_w$ )가 주어졌을 때 모델이 고품질 응답( $y_w$ )을 저품질 응답( $y_l$ )보다 선호하도록 학습하는 표준 멀티모달 DPO 항입니다.
시각적 맥락 선호 최적화 (Visual Context Preference Optimization, VPO): 모델이 동일한 응답 $y_w$ 에 대해, 축소된 컨텍스트의 이미지( $m_l$ )를 조건으로 할 때보다 완전한 이미지( $m_w$ )를 조건으로 할 때를 더 선호하도록 학습하는 새로운 항입니다.

최종 목적 함수는 다음 항들을 결합합니다:
$\mathcal{L}_{PEA-DPO} = \mathcal{L}_{RPO} + \alpha \cdot \mathcal{L}_{VPO}$

계산 오버헤드를 줄이고 제어 가능성을 높이기 위해, 저자들은 이를 다음과 같이 mPEA-DPO로 더욱 정교화했습니다:

로그 확률 비율을 길이 정규화된 로그 확률로 대체하여 (참조 모델의 필요성을 제거).
시그모이드 함수를 ReLU로 대체하여 사소한 데이터 포인트를 필터링.
선호되는 쌍과 거절된 쌍 사이의 최소한의 격차를 강제하기 위해 타겟 마진( $\gamma_r, \gamma_m$ ) 도입.

이론적 분석

논문은 mPEA-DPO가 식별된 실패 모드를 직접적으로 완화함을 보여주는 이론적 증명을 제공합니다:

이미지 간 무감각성은 $m_w$ 와 $m_l$ 사이의 구별 능력이 없음을 나타내는 거의 0에 가까운 **이미지 레벨 마진( $G_m$ )**에 해당합니다. $\mathcal{L}_{VPO}$ 항은 여기서 양의 마진을 명시적으로 강제합니다.
이미지 내 무감각성은 올바른 시각적 입력이 있음에도 $y_w$ 와 $y_l$ 을 구분하지 못하는 것을 나타내는 거의 0에 가까운 **응답 레벨 마진( $G_r$ )**에 해당합니다. $\mathcal{L}_{RPO}$ 항은 이 마진을 강제합니다.
저자들은 mPEA-DPO의 선형 결합이 이 두 마진을 모두 증가시켜 두 실패 모드를 동시에 해결함을 증명합니다.

실험 결과

저자들은 LLaVA-v1.5 모델(7B 및 13B 파라미터)을 대상으로 세 가지 환각 벤치마크(MMHal-Bench, Object HalBench, AMBER)에서 mPEA-DPO를 평가했습니다.

환각 감소: mPEA-DPO는 환각율을 유의미하게 감소시켰습니다. 7B 모델의 경우, 베이스 모델 대비 MMHal-Bench 환각율을 33% 감소시켰습니다. Object HalBench에서는 응답 레벨에서 92%, 객체 레벨에서 87%의 환각 감소를 달성했습니다.
SOTA와의 비교: 이 방법은 대부분의 환각 지표에서 기존의 오픈 소스 RLHF/RLAIF 기반 베이스라인(예: LLaVA-RLHF, mDPO, OPA-DPO, DAMA)보다 우수한 성능을 보였습니다. GPT-4V 및 Gemini-2.5-Pro와 같은 독점 모델이 MMHal-Bench에서 더 높은 전체 점수와 Object HalBench에서 더 낮은 CHAIR 점수를 기록했으나, mPEA-DPO는 다른 오픈 소스 방법들과 비교했을 때 환각율을 줄이는 데 있어 탁월한 성능을 입증했습니다. 특히 AMBER 벤치마크에서 mPEA-DPO(7B)는 환각율 10.3과 인지 점수 0.6을 기록하여, 환각율 30.7과 인지 점수 2.6을 기록한 GPT-4V를 크게 앞질렀습니다.
절제 연구 (Ablation Studies):
- RPO와 VPO 구성 요소 모두 개별적으로 효과적이었으나, 두 조합이 최상의 성능을 냈습니다.
- CLIP 선택을 통해 핵심 컨텍스트를 제거하는 제안된 "지각 강화" 전략이 무작위 블록 마스킹, 회전, 크롭 또는 전체 블랙 마스킹과 같은 대안적 전략보다 우수했습니다.
- 성능은 훈련 데이터 크기에 따라 양의 상관관계를 보이며, 작은 데이터셋(2.8k 인스턴스)에서도 효과적임을 보여주었습니다.
일반 능력: 일반 벤치마크(MMStar, AI2D, LLaVA-Bench, MMMU) 평가 결과, mPEA-DPO는 모델의 지시 이행 및 일반 추론 능력을 유지하거나 약간 향상시켰으며, 이는 이 방법이 일반적인 성능을 저하시키지 않음을 시사합니다.

의의 및 주장

본 논문은 PEA-DPO가 현재의 멀티모달 정렬에 존재하는 근본적인 간극, 즉 텍스트 선호도를 최적화할 때 모델이 시각적 증거를 무시하는 경향을 해결한다고 주장합니다. 시각적 무감각성을 명시적으로 모델링하고 이중 선호 학습 프레임워크를 도입함으로써, 저자들은 다음을 입증했습니다:

시각적 무감각성은 멀티모달 DPO에서 측정 가능하고 교정 가능한 실패 모드입니다.
시각적 선호 신호(완전한 이미지와 컨텍스트가 축소된 이미지를 비교)를 명시적으로 활용하는 것이 MLLM의 응답을 시각적 증거에 근거하도록 만드는 데 필수적입니다.
제안된 방법은 환각을 줄이는 데 있어 오픈 소스 방법들 중 최첨단 성능을 달성하는 동시에 기본 모델의 일반적인 언어 능력을 유지하며, 다른 오픈 소스 베이스라인보다 우수하고 특정 환각 지표에서 독점 모델과 경쟁할 만한 성능을 보여줍니다.

저자들은 추가적인 지각 강화 데이터 생성에 따른 계산 비용과 커버리지 지표의 미세한 트레이드오프(더 보수적인 생성 전략을 시사함)를 한계점으로 언급했으나, 이 프레임워크가 더 신뢰할 수 있고 시각적으로 근거가 확실한 MLLM을 향한 강력한 경로를 제공한다고 결론지었습니다.