Integrating Multimodal Large Language Model Knowledge into Amodal Completion

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 자율주행 및 로봇 공학의 발전과 함께, 이미지 내 가려진 (occluded) 객체의 전체 형태를 복원하는 아모달 컴플리션 (Amodal Completion) 작업의 중요성이 커지고 있습니다. 이는 인간의 상식과 물리적 지식을 바탕으로 숨겨진 부분을 추론하는 과정과 유사합니다.
• 기존 방법의 한계:
  • 기존 접근법 (MC Diffusion, pix2gestalt 등) 은 주로 시각적 생성 모델 (Stable Diffusion 등) 의 생성 능력에만 의존합니다.
  • 이러한 방법들은 가려진 영역에 대한 구체적인 물리적 지식이나 맥락적 지식이 부족하여, 불필요한 객체가 생성되거나 (extraneous generation), 가려진 부분의 크기와 내용을 잘못 추론하여 부자연스러운 결과를 초래합니다.
  • 일부 방법 (OWAAC) 은 MLLM 을 사용하지만, 그 역할이 단순히 객체 분할 (segmentation) 에만 국한되어 실제 생성 과정을 직접적으로 안내하지 못합니다.
• 핵심 문제: 가려진 영역의 정확한 범위 (extent) 와 내용 (content) 을 추론할 수 있는 실세계 지식 (Real-world knowledge) 을 생성 과정에 효과적으로 통합하는 방법의 부재.

2. 제안 방법: AmodalCG (Methodology)

저자들은 AmodalCG라는 새로운 프레임워크를 제안하여, 멀티모달 대규모 언어 모델 (MLLM) 의 풍부한 지식을 아모달 컴플리션에 선택적으로 통합합니다. 주요 구성 요소는 다음과 같습니다.

가. 선택적 MLLM 호출 (Selective Invocation)

• 모든 샘플에 대해 무조건 MLLM 을 호출하면 계산 비용이 과도해집니다.
• 가이드런스 결정 모듈 (Guidance Decision Module): 경량화된 MLLM 을 사용하여 객체의 가려짐 정도를 평가합니다.
  • 가려짐이 적은 경우: 추가 가이드 없이 기존 방법으로 처리하여 비용 절감.
  • 가려짐이 심한 경우: 대형 MLLM 을 호출하여 상세한 가이드를 생성합니다.

나. 두 가지 유형의 MLLM 가이드 (Two Types of Guidance)

MLLM 이 호출될 때, 다음 두 가지 정보를 생성하여 시각적 생성 모델 (Stable Diffusion) 에 제공합니다.

1. 기하학적 가이드 (Geometric Guidance):

   • 목적: 가려진 영역의 전체 크기를 추정하여 인페인팅 마스크 (inpainting mask) 의 크기를 조정합니다.
   • 문제 해결: 기존 방법은 마스크가 실제 객체보다 너무 커서 불필요한 객체가 생성되는 문제를 겪습니다.
   • 전략: MLLM 에게 Tight(조임), Moderate(적당), Coarse(넓음) 세 가지 스케일의 바운딩 박스를 예측하게 합니다.
   • 다중 스케일 확장 (Multi-scale Expansion): 가장 좁은 (Tight) 예측부터 시작하여 객체가 완전히 복원될 때까지 점진적으로 마스크를 확장하며 검증합니다. 이를 통해 불완전한 복원이나 과도한 생성을 방지합니다.

2. 의미론적 가이드 (Semantic Guidance):

   • 목적: 가려진 영역에 어떤 내용이 포함되어야 하는지에 대한 상세한 텍스트 설명을 생성합니다.
   • 문제 해결: 기존 방법은 가려진 객체 (occluder) 까지 함께 묘사하여 원치 않는 객체가 생성되는 오류가 발생했습니다.
   • 전략: MLLM 에 입력할 이미지를 준비할 때, 가려진 객체 (occluder) 를 마스킹 (마스킹) 하여 제거합니다. 이를 통해 MLLM 이 대상 객체와 가려진 객체를 명확히 구분하고, 오직 대상 객체의 숨겨진 부분만 묘사하도록 유도합니다.

다. 인페인팅 모듈 (Inpainting Module)

• 위 두 가지 가이드 (조정된 마스크와 상세 텍스트 프롬프트) 를 Stable Diffusion 에 입력하여 객체를 복원합니다.
• 생성된 배경 마스크를 역전시켜 최종 아모달 마스크를 추출합니다.

3. 주요 기여 (Key Contributions)

1. AmodalCG 프레임워크 제안: MLLM 의 상식적 지식을 아모달 컴플리션에 효과적으로 통합하는 새로운 방법론을 제시했습니다.
2. 효율성과 정확성 균형:
   • 선택적 호출: 불필요한 MLLM 호출을 줄여 계산 비용을 절감합니다.
   • 다중 스케일 전략: MLLM 의 불확실성을 완화하고 정확한 객체 크기 추정을 가능하게 합니다.
3. 성능 향상: 기존 방법 대비 아모달 분할 및 가려진 객체 인식 성능을 크게 개선했습니다.

4. 실험 결과 (Results)

• 데이터셋: COCO-A, BSDS-A, MP3D-A (아모달 분할), Occluded/Separated COCO (객체 인식).
• 아모달 분할 (Amodal Segmentation):
  • 모든 베이스라인 (pix2gestalt, MC Diffusion, OWAAC) 을 능가하는 성능을 기록했습니다.
  • 특히 높은 가려짐 비율 (Hard, occlusion > 0.5) 환경에서 가장 강력한 성능을 보였습니다 (COCO-A Hard 기준 mIoU 75.09% 달성).
  • 불필요한 객체 생성을 억제하고 자연스러운 복원을 가능하게 했습니다.
• 가려진 객체 인식 (Occluded Object Recognition):
  • CLIP 모델을 사용한 분류 작업에서 Top 1 및 Top 3 정확도가 기존 방법보다 높았습니다.
  • 특히 객체가 여러 조각으로 분리된 (Separated) 어려운 데이터셋에서도 우수한 성능을 입증했습니다.
• 애블레이션 연구 (Ablation Study):
  • 기하학적 가이드 (마스크 크기 조정) 가 성능 향상에 가장 큰 기여를 했습니다.
  • 의미론적 가이드는 객체 인식 성능 향상에 유의미한 영향을 미쳤습니다.

5. 의의 및 결론 (Significance)

• MLLM 과 생성 모델의 시너지: 본 논문은 MLLM 이 가진 강력한 추론 능력과 시각적 생성 모델의 생성 능력을 결합하여, 기존에 해결하기 어려웠던 복잡한 가려짐 문제를 효과적으로 해결함을 증명했습니다.
• 실용성: 추가적인 학습 (fine-tuning) 없이 오픈 월드 (open-world) 객체에 적용 가능하며, 자율주행 및 로봇 공학 등 실제 응용 분야에서 객체 인식의 신뢰성을 높이는 데 기여할 수 있습니다.
• 미래 방향: 아모달 컴플리션 분야에서 MLLM 기반의 추론을 통합하는 것이 유망한 연구 방향임을 제시했습니다.

요약하자면, 이 논문은 MLLM 의 지식을 "선택적"으로 활용하고, "기하학적/의미론적" 두 가지 가이드를 통해 생성 과정을 정교하게 제어함으로써, 기존 생성 모델 기반 방법들의 한계를 극복하고 아모달 컴플리션 성능을 획기적으로 개선한 연구입니다.