Panoptic Pairwise Distortion Graph

1. 문제 정의 (Problem Statement)

• 기존 방법의 한계: 현재 이미지 품질 평가 (Image Quality Assessment, IQA) 및 왜곡 분석을 수행하는 대부분의 방법은 전체 이미지 (Global View) 를 단위로 분석하는 'Top-down' 접근 방식을 사용합니다. 이는 이미지 내 특정 영역 (Region) 의 세부적인 왜곡 유형, 심각도, 그리고 두 이미지 간의 영역별 비교를 정교하게 이해하는 데 한계가 있습니다.
• MLLM 의 취약점: 멀티모달 대규모 언어 모델 (MLLM) 은 지시 따르기 (Instruction Following) 능력이 뛰어나지만, 구체적인 영역 (Region) 단위의 왜곡을 이해하거나 비교 평가하는 데서는 실패하는 경우가 많습니다. 명시적인 영역 힌트 (Bounding Box 등) 를 제공하더라도 모델은 전체 이미지의 맥락에만 의존하거나, 템플릿화된 답변을 생성하며, 영역별 할루시네이션 (Hallucination) 이나 누락을 빈번하게 보입니다.
• 구조적 표현의 부재: 이미지 쌍 간의 비교를 위해 영역 기반의 구조화된 표현 (Structured Representation) 이 부족합니다. 기존 연구들은 단일 이미지 분석에 치중하거나, 비교 평가 시에도 영역별 상세 정보를 체계적으로 연결하지 못했습니다.

2. 제안 방법 (Methodology)

이 논문은 이미지 쌍을 영역 (Region) 단위의 구조화된 토폴로지로 표현하는 새로운 작업인 **왜곡 그래프 (Distortion Graph, DG)**를 제안합니다.

2.1 왜곡 그래프 (Distortion Graph, DG)

DG 는 두 이미지 (Anchor 와 Target) 를 노드와 엣지로 구성된 그래프로 정의합니다.

• 노드 (Nodes): 각 이미지의 객체 또는 영역 (Region) 에 해당하며, 왜곡 유형 (Distortion Type), 심각도 (Severity), 영역별 품질 점수 (Quality Score) 등의 속성을 가집니다.
• 엣지 (Edges):
  • 왜곡 관계 (Distortion Relations): 한 이미지의 영역과 다른 이미지의 대응 영역 간의 비교 관계 (예: '더 나쁨', '약간 나쁨', '동일') 를 나타냅니다.
  • 장면 관계 (Scene Relations): 동일한 이미지 내 객체 간의 관계 (선택적 요소).
• 특징: DG 는 이미지 전체의 판단을 영역별 정보의 집합으로 구성하며, 그 반대의 경우 (전체에서 부분으로) 는 항상 성립하지 않는다는 점에 착안하여 'Region-first' 추론을 가능하게 합니다.

2.2 PANDA 아키텍처

DG 를 학습하기 위해 제안된 효율적인 신경망 아키텍처입니다.

• 입력: 두 개의 이미지 쌍 (Anchor, Target).
• 특징 추출: DINOv2 와 같은 사전 학습된 인코더를 사용하여 이미지 특징을 추출하고, SAM (Segment Anything Model) 을 통해 영역별 마스크를 생성합니다.
• 토큰 풀링 (Token Pooling): 각 영역을 이미지와 연결하기 위해 학습 가능한 토큰을 사용하여 영역 특징을 추출합니다.
• 디코더 (Degradation Decoder): Transformer 기반의 디코더를 사용하여 영역별 특징을 비교하고, 4 개의 예측 헤드를 통해 다음 값을 출력합니다.
  1. 비교 관계 (Relation): 두 이미지 영역 간의 상대적 품질 비교.
  2. 왜곡 유형 (Distortion): 적용된 왜곡의 종류 (예: 흐림, 노이즈, 어두움 등).
  3. 심각도 (Severity): 왜곡의 정도 (경미함, 보통, 심각함).
  4. 품질 점수 (Score): 영역별 정량적 품질 점수.

3. 주요 기여 (Key Contributions)

1. PANDASET (데이터셋):
   • 영역 기반 쌍별 비교 왜곡 분석을 위한 대규모 데이터셋입니다.
   • 50 만 개 이상의 이미지 쌍을 포함하며, 15 가지 주요 왜곡 유형 (비, 눈, 안개, 노이즈, 흐림 등) 과 32 가지 하위 유형을 다룹니다.
   • 각 영역에 대해 왜곡 유형, 4 단계 심각도 (Clean 포함), 그리고 TOPIQ 기반의 정량적 품질 점수가 레이블링되어 있습니다.
2. PANDABENCH (벤치마크):
   • PANDASET 에서 파생된 평가 벤치마크로, 난이도가 증가하는 세 가지 분할 (Easy, Medium, Hard) 을 제공합니다.
   • Easy: 전체 이미지가 동일한 왜곡 유형으로 처리됨.
   • Medium/Hard: 각 영역마다 서로 다른 왜곡 유형과 심각도가 적용되는 복잡한 혼합 왜곡 환경.
   • 이 벤치마크는 MLLM 의 영역 기반 왜곡 이해 능력을 체계적으로 평가합니다.
3. PANDA (모델):
   • DG 를 생성하기 위해 설계된 효율적인 아키텍처로, SOTA MLLM 들보다 뛰어난 성능을 보입니다.
4. 새로운 관점 (Chain-of-Thought 활용):
   • DG 를 MLLM 의 추론 과정 (Chain-of-Thought) 에 힌트로 제공하면, MLLM 의 영역별 왜곡 이해 능력이 획기적으로 향상됨을 입증했습니다.

4. 실험 결과 (Results)

• MLLM 성능 한계: GPT-4o, GPT-5 Mini, Gemini 2.5 Pro 등 최상위 폐쇄형 MLLM 과 Q-Instruct, DepictQA 등 오픈소스 MLLM 모두 PANDABENCH 에서 낮은 성능을 보였습니다. 특히 Hard 설정에서는 무작위 추측 수준으로 떨어지거나, 영역을 누락/할루시네이션하는 경향이 있었습니다.
• PANDA 의 우위: 제안된 PANDA 모델은 모든 작업 (비교, 왜곡 분류, 심각도 분류, 점수 예측) 에서 모든 MLLM 을 압도하는 성능을 기록했습니다.
  • Easy: 비교 정확도 58%, 왜곡 정확도 78% 달성.
  • Hard: 난이도가 높아져도 성능 저하가 가장 적었으며, MLLM 들이 급격히 떨어지는 것과 대조적으로 견고한 성능을 유지했습니다.
• DG 의 활용 (Showcase Application):
  • PANDA 가 생성한 DG 를 GPT-5 Mini 에게 "힌트"로 제공하는 실험에서, MLLM 의 정확도가 약 15% 향상되었습니다.
  • MLLM 은 DG 를 맹목적으로 따르지 않고, 시각적 증거 (Pixel) 와 DG 가 상충될 경우 DG 를 수정하는 능력을 보였습니다. 이는 DG 가 MLLM 의 추론을 보완하는 효과적인 구조적 맥락임을 시사합니다.

5. 의의 및 결론 (Significance)

• 세밀한 비교 평가의 패러다임 전환: 이미지 품질 평가를 전체 이미지 수준이 아닌, **영역 기반 (Region-first)**의 구조화된 그래프로 접근함으로써, 기존 MLLM 이 해결하지 못했던 세밀한 왜곡 분석 문제를 해결했습니다.
• 해석 가능성 (Interpretability): DG 는 "어떤 영역에서 어떤 왜곡이 발생했는지"를 명시적으로 보여주어, 블랙박스 모델의 결정 과정을 해석 가능하게 만듭니다.
• 범용성: DG 형식은 왜곡 분석을 넘어, 영상 행동 차이 분석, 위조 탐지, 의료 영상 비교 등 다양한 쌍별 비교 (Pairwise Comparison) 작업에 적용 가능한 일반적인 형식으로 확장될 수 있습니다.
• 향후 연구 방향: 이 작업은 대규모 영역 기반 비교 데이터셋의 부재를 해소하고, MLLM 의 추론 능력을 향상시키기 위한 구조적 보조 도구 (Scaffold) 로서 DG 의 중요성을 입증했습니다.

요약하자면, 이 논문은 이미지 쌍의 왜곡을 영역 단위의 구조화된 그래프 (DG) 로 표현하는 새로운 프레임워크를 제시하고, 이를 학습하기 위한 PANDA 모델과 PANDASET/PANDABENCH를 통해 현재 MLLM 의 한계를 극복하고 정밀한 이미지 품질 평가의 새로운 지평을 열었습니다.