Bridging Human Evaluation to Infrared and Visible Image Fusion

이 논문은 인간 평가와 적외선/가시광선 이미지 융합을 연결하기 위해 대규모 인간 피드백 데이터셋과 보상 모델을 구축하고, 그룹 상대적 정책 최적화를 통해 융합 네트워크를 미세 조정하여 인간 시각적 선호도와 더 잘 부합하는 최첨단 성능을 달성하는 피드백 강화 프레임워크를 제안합니다.

핵심

이 논문은 **"인간이 눈으로 봤을 때 '아, 이거 진짜 예쁘고 잘 합성됐네!'라고 느끼는 적외선과 가시광선 이미지 융합 기술"**을 개발한 연구입니다.

기존 기술들은 컴퓨터가 계산하는 숫자 (수치) 가 좋으면 좋다고 했지만, 정작 인간이 보기엔 어색하거나 뭉개진 경우가 많았습니다. 이 연구는 그 간극을 메우기 위해 인간의 '취향'을 직접 가르쳐 주는 새로운 방식을 제안합니다.

이 내용을 쉽게 이해할 수 있도록 요리사와 미식가의 비유로 설명해 드릴게요.

---

🍳 핵심 비유: "요리사 (AI) 와 미식가 (인간) 의 협업"

지금까지의 이미지 융합 기술은 **요리사 (AI)**가 오직 **계량기 (수치 지표)**만 보고 요리를 했습니다.

• "소금 3g, 설탕 5g 정확히 넣었으니 이 요리는 완벽해!"라고 생각했지만, 정작 **미식가 (사람)**가 먹어보니 "너무 짜고 맛이 이상해!"라고 불만을 표출하는 상황이었습니다.

이 논문은 **"요리사가 미식가의 입맛을 직접 배워서 요리를 하라"**는 새로운 방식을 제시합니다.

1. 문제점: "계량기만 믿던 요리사"

• 상황: 적외선 카메라 (밤에 뜨거워 보이는 물체) 와 일반 카메라 (색감과 질감) 를 합쳐서 한 장의 사진을 만드는 기술입니다.
• 문제: 기존 AI 는 "수치적으로 얼마나 잘 섞였나?"만 계산했습니다. 하지만 인간은 "그림자가 너무 어두워", "자동차 모양이 뭉개졌어", "색감이 어색해"라고 느낍니다.
• 결과: 컴퓨터 점수는 높지만, 사람이 보기엔 별로인 사진이 계속 만들어졌습니다.

2. 해결책 1: "미식가들의 취향 지도 만들기" (새로운 데이터셋)

연구팀은 먼저 인간이 무엇을 좋아하는지 정리한 거대한 지도를 만들었습니다.

• 100 명의 전문가와 AI 가 함께 일했습니다: 9,350 장의 합성 사진을 모아, "이 사진의 열감은 몇 점?", "결점은 어디에 있나?", "선명도는 어때?"를 1~5 점으로 매겼습니다.
• AI 미식가 (GPT-4o) 의 역할: 처음엔 인간 전문가 4 명이 100 장을 직접 평가하고, 그 결과를 바탕으로 거대한 AI(GPT-4o) 를 교육시켰습니다. 이제 AI 가 인간처럼 "이 사진은 결점이 보이네"라고 스스로 판단할 수 있게 된 것입니다.
• 결과: "인간의 눈이 좋아하는 사진"에 대한 방대한 데이터베이스가 완성되었습니다.

3. 해결책 2: "요리사에게 미식가의 피드백을 주는 시스템" (보상 모델)

이제 요리사 (융합 AI) 를 훈련시킬 때, 단순히 "수치 맞추기"가 아니라 **"미식가 (Reward Model) 의 점수"**를 기준으로 훈련시킵니다.

• 보상 모델 (미식가): 합성된 사진을 보고 "이건 결점이 너무 많아서 2 점, 저건 질감이 살아있어서 5 점!"이라고 점수를 매겨줍니다.
• GRPO (그룹 상대 정책 최적화): 이 방식은 마치 요리 대회와 같습니다.
  • 요리사 (AI) 가 같은 재료를 가지고 여러 가지 요리를 만들어냅니다.
  • 미식가 (보상 모델) 가 각 요리를 시식하고 점수를 줍니다.
  • "이번엔 저 요리 (A) 가 이 요리 (B) 보다 더 맛있었네?"라고 비교해서, 더 좋은 요리를 만든 방향으로 요리사의 레시피를 수정합니다.
  • 특히 **SAM(세그먼트 Anything 모델)**을 이용해 사진 속 중요한 부분 (사람, 차, 건물) 을 잘라내어, "여기만 더 잘 만들어줘"라고 세밀하게 지시합니다.

4. 결과: "사람이 보기에 가장 자연스러운 사진"

이 새로운 방식으로 훈련된 AI 는 기존 기술들보다 훨씬 뛰어난 결과를 냈습니다.

• 시각적 만족도: 밤에 찍은 사진에서도 사람의 얼굴이 흐릿하지 않고, 자동차의 윤곽이 뚜렷하며, 안개 낀 길에서도 보행자가 잘 보입니다.
• 하류 작업 (응용): 이 사진을 바탕으로 '사람 찾기'나 '차량 인식'을 하는 AI 가 훨씬 정확하게 작동합니다. (예: 안개 낀 밤길에서도 오토바이를 놓치지 않음)

---

🌟 한 줄 요약

"컴퓨터가 계산하는 '점수'가 아니라, 사람이 느끼는 '맛 (취향)'을 가르쳐서, 밤과 낮의 사진을 합성할 때 우리 눈이 가장 편안하고 아름답게 느끼는 사진을 만들어냈다."

이 기술은 보안 카메라, 자율주행차, 의료 영상 등 사람이 직접 보고 판단해야 하는 중요한 분야에서 큰 도움을 줄 것으로 기대됩니다. 마치 요리사가 미식가의 입맛을 배워 더 맛있는 요리를 내놓는 것처럼, AI 도 이제 인간의 눈을 배워 더 좋은 사진을 만들어내는 것입니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

적외선 (Infrared) 과 가시광선 (Visible) 이미지 융합 (IVIF) 은 열적 정보와 풍부한 질감 정보를 결합하여 단일 이미지를 생성하는 기술로, 자율 주행, 보안 감시, 군사 정찰 등 다양한 분야에서 핵심적인 역할을 합니다. 그러나 기존 연구들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 인간 지각과의 괴리: 기존 방법들은 주로 손으로 설계된 손실 함수 (handcrafted losses) 와 객관적 수치 지표 (엔트로피, 구조적 유사도 등) 를 최적화하는 데 집중합니다. 이는 수학적 모델과 인간의 실제 시각적 선호도 (perceptual preferences) 사이에 큰 간극을 만들어냅니다.
• 잘못된 문제 (Ill-posed nature): 융합된 이미지의 유일한 정답 (Ground Truth) 이 존재하지 않기 때문에, 객관적 지표만으로는 융합 품질을 인간이 느끼는 대로 평가하기 어렵습니다.
• 데이터 및 평가 기준 부재: 인간의 피드백을 반영한 대규모 데이터셋과 이를 기반으로 한 자동화된 보상 (Reward) 메커니즘이 부족합니다.

2. 제안 방법론 (Methodology)

저자들은 인간의 주관적 평가를 융합 파이프라인에 직접 통합하는 **피드백 강화 학습 프레임워크 (Feedback Reinforcement Framework)**를 제안합니다. 이 프레임워크는 크게 세 가지 단계로 구성됩니다.

2.1. 인간 피드백 정렬 데이터셋 구축 (Human Preference-Aligned Dataset)

• 데이터 수집: 8 개의 벤치마크 데이터셋 (FMB, LLVIP, M3FD 등) 에서 3 만 쌍 이상의 적외선 - 가시광선 이미지를 수집하고, CLIP 모델을 통해 중복 제거 및 정제 후 850 쌍의 고품질 이미지를 선정했습니다.
• 다양한 융합 모델 적용: 선정된 이미지에 11 개의 최신 (SOTA) 융합 모델 (MURF, DDcGAN, MetaFusion 등) 을 적용하여 총 9,350 개의 융합 이미지를 생성했습니다.
• 하이브리드 주석 (Annotation):
  • 전문가 주도: IVIF 연구 경험이 풍부한 전문가 4 명이 100 개의 이미지를 정밀하게 평가하고 아티팩트 (결함) 영역을 주석하여 '시드 데이터셋'을 구축했습니다.
  • LLM 활용: GPT-4o 를 시드 데이터셋으로 미세 조정 (Fine-tuning) 하여, 모든 9,350 개의 이미지에 대해 자동 주석을 생성하게 했습니다.
  • 품질 관리: 생성된 주석은 추가 전문가 검토를 거쳐 정확성을 확보했습니다.
• 주석 항목: 열적 정보 보존 (Thermal Retention), 질감 보존 (Texture Retention), 아티팩트 수준 (Artifacts), 선명도 (Sharpness) 의 4 가지 세부 점수 (1~5 점) 와 아티팩트 히트맵 (Heatmap) 을 포함합니다.

2.2. 융합 지향 보상 모델 (Fusion-Oriented Reward Model)

• 아키텍처: ViT(Vision Transformer) 기반의 비전 - 언어 모델을 기반으로 설계되었습니다.
• 입력: 적외선 이미지, 가시광선 이미지, 융합된 이미지를 동시에 입력받아 처리합니다.
• 기능:
  • 점수 예측: 4 가지 세부 품질 지표를 회귀 (Regression) 합니다.
  • 히트맵 예측: 융합 이미지 내 아티팩트가 발생하는 공간적 분포를 확률 맵으로 예측합니다.
• 학습: ViT 인코더 파라미터는 고정하고, 상단 예측 헤드만 학습하여 안정성을 확보했습니다. MSE 손실 함수를 사용하여 점수와 히트맵 예측을 동시에 최적화합니다.

2.3. GRPO 기반 정책 최적화 (Policy Optimization via GRPO)

• 기반 모델: DCEvo (Discriminative Cross-Dimensional Evolutionary Learning) 를 베이스 융합 네트워크로 사용합니다.
• RLHF 전략:
  • SAM 활용: Segment Anything Model (SAM) 을 사용하여 융합 이미지를 의미 있는 세그먼트 영역으로 분할합니다.
  • 그룹 상대적 정책 최적화 (GRPO): 분할된 각 영역에 대해 보상 모델이 점수를 매기고, 그룹 내 상대적 이득 (Relative Advantage) 을 계산합니다.
  • 최적화 목표: 보상 모델이 부여한 점수를 극대화하도록 융합 네트워크의 정책을 미세 조정합니다. 이는 KL 발산 정규화를 통해 원본 정책에서 너무 멀어지지 않도록 제어합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크: 객관적 이미지 품질 지표와 인간 지각 일관성 간의 간극을 해소하기 위해, 인간의 주관적 선호도를 명시적으로 통합한 피드백 강화 IVIF 프레임워크를 제안했습니다.
2. 대규모 데이터셋: IVIF 분야에서 최초로 대규모 고품질 인간 피드백 데이터셋을 구축했습니다. 이 데이터셋은 다차원 주관적 점수와 상세한 아티팩트 주석을 포함합니다.
3. 최적화 전략: IVIF 를 위한 전용 보상 함수와 GRPO 기반 강화 학습 전략을 개발하여, 융합 모델이 인간의 시각적 선호도를 더 잘 포착하도록 했습니다.

4. 실험 결과 (Results)

• 정량적 평가: TNO, RoadScene, M3FD 데이터셋에서 기존 13 가지 SOTA 방법과 비교했습니다.
  • 참조 지표: CC (상관관계), PSNR, Qabf, SSIM 에서 모두 최상위 또는 최상위 2 위를 기록했습니다. 특히 CC 와 PSNR 에서 압도적인 성능을 보였습니다.
  • 무참조 지표: NIQE 와 BRISQUE 에서도 가장 낮은 (우수한) 값을 기록하여 생성된 이미지의 자연스러움을 입증했습니다.
• 정성적 평가:
  • 시각적 선호도: 15 명의 평가자 (전문가 및 비전문가) 를 대상으로 한 블라인드 평가에서, 제안된 방법이 다른 모든 방법보다 인간이 선호하는 순위를 가장 높게 받았습니다.
  • 다운스트림 작업: 생성된 융합 이미지를 이용한 시맨틱 세그멘테이션 (FMB 데이터셋) 과 객체 탐지 (M3FD 데이터셋) 작업에서 기존 방법들보다 높은 정확도 (mIoU, mAP) 를 달성했습니다. 특히 저조도 및 안개 조건에서 중요한 객체 (사람, 차량, 오토바이 등) 를 더 정확하게 탐지했습니다.
• 애블레이션 연구: 보상 모델의 점수/히트맵 예측 브랜치 제거, SAM 세그먼트 제거, DPO/PPO 등 다른 강화 학습 알고리즘 비교를 통해 제안된 각 구성 요소의 유효성을 입증했습니다.

5. 의의 및 결론 (Significance)

이 논문은 IVIF 분야에서 **"인간이 무엇을 원하는가?"**라는 질문에 답하기 위한 중요한 전환점을 제시합니다. 단순히 수치적 지표만 높이는 것을 넘어, 인간 지각과 일치하는 고품질 융합 이미지를 생성하는 새로운 패러다임을 확립했습니다.

• 데이터 중심 접근: 인간 피드백 데이터셋의 부재를 해결함으로써 향후 IVIF 연구의 표준 평가 기준을 마련했습니다.
• 강화 학습의 적용: 컴퓨터 비전 분야에서 RLHF 를 성공적으로 적용하여, 생성된 이미지의 미적/지각적 품질을 극대화할 수 있음을 증명했습니다.
• 실용성: 보안, 자율 주행 등 인간의 판단이 필수적인 고위험 분야에서 더 신뢰할 수 있는 융합 기술을 제공할 수 있는 기반을 제공합니다.

결론적으로, 이 연구는 기계 학습 모델의 최적화 목표를 '수학적 이상'에서 '인간 지각'으로 전환시키는 성공적인 사례로 평가됩니다.