360{\deg} Image Perception with MLLMs: A Comprehensive Benchmark and a Training-Free Method

이 논문은 360 도 이미지 이해를 평가하기 위한 벤치마크 '360Bench'를 제안하고, 학습 없이 장면 그래프 기반의 모듈식 처리를 통해 고해상도 360 도 이미지 VQA 성능을 향상시키는 방법론 'Free360'을 소개합니다.

핵심

이 논문은 "360 도 파노라마 사진을 보고 Multimodal Large Language Models(MLLM, 멀티모달 대형 언어 모델)을 다룹니다.

기존의 AI 는 평범한 사진 (예: 스마트폰으로 찍은 정면 사진) 을 잘 이해하지만, 360 도 사진처럼 모든 방향이 한 장에 담긴 이미지를 보면 길을 잃거나 헷갈리는 문제가 있었습니다. 이 논문은 그 이유를 분석하고, **AI 를 재학습 **(훈련)을 소개합니다.

이 내용을 쉽게 이해할 수 있도록 세 가지 핵심 이야기로 나누어 설명해 드릴게요.

---

1. 문제: "AI 는 360 도 사진을 보면 어지러워요!" 🌀

일반적인 사진은 평평한 종이에 찍힌 것처럼 보입니다. 하지만 360 도 사진은 지구본을 펼쳐서 평평하게 만든 것과 같습니다.

• 지구의 극지방 문제: 지구본을 평평하게 펼치면 남극이나 북극 쪽이 길게 늘어나거나 찌그러집니다. 360 도 사진도 마찬가지로, 사진의 위쪽과 아래쪽이 심하게 왜곡되어 있습니다.
• AI 의 혼란: 기존 AI 는 이런 찌그러진 사진을 보면 "저게 사람인지, 기둥인지, 아니면 그냥 그림자인지" 헷갈립니다. 특히 사물이 사진의 가장자리에서 잘려 있거나, 여러 조각으로 나뉘어 있으면 "이게 몇 개인지" 세는 것도 어려워합니다.

저자들은 **"360 Bench"**라는 새로운 시험지를 만들었습니다.

• 시험지 내용: 7K 고해상도 360 도 사진 1,500 장과, 그 안에서 "소방전이 어디 있죠?", "이 두 가게는 서로 어떤 위치에 있나요?" 같은 질문들입니다.
• 결과: 최신 AI 모델들 (GPT-4o 등) 이 이 시험지를 봤을 때, 정답률이 46% 정도에 그쳤습니다. 반면 인간은 **86%**를 맞췄습니다. AI 가 360 도 공간에서 길을 잃고 있다는 증거입니다.

---

2. 해결책: "Free360 - AI 에게 '지도'를 그려주는 방법" 🗺️

저자들은 AI 를 다시 공부시키는 (훈련시키는) 비용이 너무 비싸고 위험하다고 생각했습니다. 대신, **AI 가 스스로 문제를 풀 수 있도록 '도움말 **(Scene Graph)을 제안했습니다. 이를 Free360이라고 부릅니다.

이 방법은 마치 탐정이 사건을 해결하는 과정과 비슷합니다:

1. **범인 **(사물)
   • AI 는 먼저 질문과 관련된 사물 (예: '화재경보기', '간판') 을 찾아냅니다. 이때 360 도 사진이 찌그러지지 않도록 **큐브 **(여섯 면의 상자)로 잘게 쪼개어 보는 방식을 사용합니다. (왜곡을 줄이기 위함)
2. **단서 **(속성)
   • 찾은 사물을 확대해서 자세히 봅니다. "이 간판에 뭐라고 쓰여 있나?", "이 사물의 색은 무엇인가?" 같은 세부 정보를 텍스트로 적어냅니다.
3. **관계 **(위치)
   • 이게 핵심입니다! AI 는 두 사물 사이의 거리를 재기 위해, 자신의 시점을 사물 쪽으로 회전시킵니다.
   • 비유: 사람이 "저기 있는 나무와 집이 어떤 관계지?"라고 물을 때, 우리는 고개를 돌려 나무 쪽을 보거나 집 쪽을 보며 관계를 파악합니다. Free360 도 AI 에게 **가상의 고개 돌리기 **(구면 회전)를 시켜서, 두 사물이 서로 "맞은편에 있다"거나 "옆에 있다"는 관계를 정확히 파악하게 합니다.
4. **지도 그리기 **(시나리오 완성)
   • 찾은 사물, 그 특징, 그리고 서로의 관계를 모두 연결하여 **텍스트로 된 '지도 **(Scene Graph)를 만듭니다.
   • 예: "화재경보기는 오른쪽에 있고, 그 옆에 소방전이 있다."
5. 최종 답변:
   • 이렇게 정리된 '지도'를 AI 에게 다시 보여줍니다. AI 는 복잡한 원본 사진 대신, 깔끔하게 정리된 '지도'를 보고 질문의 정답을 쉽게 찾아냅니다.

---

3. 결과: "훈련 없이도 AI 가 똑똑해졌다!" 🚀

이 방법 (Free360) 을 적용한 결과, 놀라운 변화가 일어났습니다.

• 성능 향상: 기존 AI 모델의 정답률이 약 7% 이상이나 올랐습니다. 특히 "어떤 사물이 어디에 있는지"를 묻는 복잡한 공간 추론 문제에서는 22% 이상이나 점수가 뛰었습니다.
• 비용 절감: AI 모델을 다시 학습시키는 데 드는 막대한 비용과 시간이 들지 않았습니다. 그냥 질문할 때 '지도'를 먼저 그려주는 것만으로 해결되었습니다.
• 속도: 이 모든 과정을 처리하는 데 걸리는 시간은 약 22 초 정도였는데, 이는 사람이 360 도 사진을 보며 답을 찾는 시간 (약 29 초) 과 비슷합니다.

📝 한 줄 요약

"AI 가 360 도 사진을 볼 때 길을 잃지 않도록, AI 가 스스로 '사물의 위치와 관계를 정리한 지도'를 먼저 그려보게 한 뒤, 그 지도를 보고 정답을 찾게 하는 새로운 방법을 개발했습니다."

이 연구는 AI 가 자율주행, 로봇, 보안 감시 등 실제 360 도 환경을 이해해야 하는 분야에서 훨씬 더 똑똑하고 안전하게 작동할 수 있는 기초를 마련해 주었습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

멀티모달 대규모 언어 모델 (MLLMs) 은 일반적인 평면 이미지 (Conventional Images) 에 대한 이해와 추론에서 뛰어난 성능을 보이지만, 360° 전방위 이미지 (Omnidirectional Images) 에 대한 인식 능력은 여전히 미흡한 상태입니다. 360° 이미지는 단일 프레임으로 전체 환경을 포착하여 공간적 추론을 가능하게 하지만, 다음과 같은 고유한 도전 과제를 안고 있습니다.

• 기하학적 왜곡 (Geometric Distortion): 360° 이미지를 2D 평면으로 투사할 때 (예: Equirectangular Projection, ERP) 극단적인 왜곡이 발생하며, 객체가 이미지 경계를 가로지를 경우 분열 (Fragmentation) 되는 문제가 발생합니다.
• 복잡한 공간 관계: 연속적인 구면 (Spherical) 공간에서의 객체 간 및 객체 - 뷰어 간 공간 관계를 추론하는 것이 매우 어렵습니다.
• 고해상도 처리의 어려움: 360° 이미지는 고해상도 (7K 이상) 이며 풍부한 시각적 정보를 포함하므로, 세밀한 특징을 포착해야 합니다.
• 기존 벤치마크의 한계: 기존 데이터셋은 저해상도이거나, 자동 생성된 주석을 사용하거나, 특정 작업에 국한되어 있어 MLLM 의 360° 인식 능력을 종합적으로 평가하기 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 두 가지 주요 기여를 통해 위 문제를 해결합니다: 새로운 벤치마크 (360Bench) 와 학습이 필요 없는 프레임워크 (Free360).

A. 360Bench (새로운 벤치마크)

• 구성: 7K 해상도의 360° 이미지 643 장과 인간이 직접 작성한 1,532 개의 고유한 샘플로 구성됩니다.
• 작업 분류 (7 가지 하위 작업):
  1. 세밀한 인식 (FP-IR, FP-IC): 작은 객체나 텍스트 인식 및 개수 세기.
  2. 왜곡된 인식 (PP-IR, PP-IC): 기하학적 왜곡이나 분열된 객체에 대한 인식 및 개수 세기.
  3. 공간 추론 (SR-Os, SR-OV): 객체 간 관계 및 객체 - 뷰어 간 관계 추론.
  4. 방향 제시 (DG): 시각적 단서를 기반으로 목적지까지의 경로 계획.
• 주석 방식: VR 환경에서 annotator 가 직접 장면을 탐색하며 정밀한 바운딩 박스와 질문/답변을 생성하여 높은 품질을 보장합니다.

B. Free360 (학습이 필요 없는 프레임워크)

Free360 은 MLLM 을 재학습 (Fine-tuning) 시키지 않고, 장면 그래프 (Scene Graph) 기반의 모듈러 추론 과정을 통해 360° VQA 를 수행합니다.

1. 하이브리드 투사 방식:
   • 객체 탐지 (Step 1): 기하학적 왜곡을 줄이기 위해 입방체 투사 (CMP, CubeMap Projection) 이미지를 사용하여 객체와 바운딩 박스를 탐지합니다.
   • 공간 추론 (Step 3): 객체 간 관계를 추론할 때는 적응형 구면 회전 (Adaptive Spherical Rotation) 을 적용하여 ERP 이미지를 해당 객체 쌍이 중앙에 오도록 회전시킨 후 분석합니다.
2. 4 단계 장면 그래프 생성 (SGG):
   • Step 1 (Entity Identification): CMP 이미지를 기반으로 질문과 관련된 개체 (Entity) 를 탐지하고 라벨링합니다.
   • Step 2 (Attribute Extraction): 탐지된 개체의 잘라낸 이미지 (Crop) 를 MLLM 에 입력하여 세밀한 속성 (텍스트, 패턴 등) 을 추출합니다.
   • Step 3 (Inter-Entity Relation Detection): 개체 쌍을 중심으로 이미지를 회전시켜 공간적 관계 (예: "왼쪽", "반대편") 를 추론합니다.
   • Step 4 (Entity-View Relation Detection): 6 개의 뷰 노드 (전, 후, 좌, 우, 상, 하) 를 정의하고 개체가 어느 뷰에 위치하는지 매핑합니다.
3. 추론 및 답변 생성: 생성된 장면 그래프를 구조화된 텍스트로 직렬화하여 MLLM 에 입력하고, 이를 기반으로 최종 답변과 추론 과정을 생성합니다.

3. 주요 실험 결과 (Results)

• MLLM 의 한계 확인: 360Bench 에서 평가된 7 개의 MLLM 과 6 가지 향상 기법 중 가장 성능이 좋은 모델 (Gemini Pro 2.5) 의 정확도는 **46.5%**에 불과했으며, 인간 평가자 (86.3%) 와 큰 격차가 존재함을 확인했습니다.
• 투사 방식의 영향:
  • CMP: 왜곡된 객체 인식 (PP) 작업에서 ERP 대비 최대 14.1% 높은 성능을 보였습니다.
  • ERP: 공간 추론 (SR) 작업에서 CMP 대비 더 좋은 성능을 보였습니다.
  • 이는 두 투사 방식이 상호 보완적임을 시사합니다.
• Free360 의 성능:
  • Free360 은 베이스 모델 (Qwen2.5-VL-7B) 대비 전체 정확도 7.3% 향상 (45.3% 달성) 을 기록했습니다.
  • 특히 SR-OV (객체 - 뷰어 관계) 작업에서는 **22.9%**나 큰 개선을 보였습니다.
  • 추론 시간은 약 22.5 초로, 인간 응답 시간 (28.9 초) 과 유사하며, 다른 학습 기반/고비용 방법론 (DC2, DeepEyes 등) 에 비해 효율적입니다.
• Ablation Study: 이미지 크롭 (Crop), 구면 회전 (Rotate), 개체 - 뷰 관계 (EVR) 모듈이 각각 정확도 향상에 기여함을 입증했습니다.

4. 주요 기여 (Key Contributions)

1. 360Bench 도입: 고해상도 360° 단일 이미지 VQA 를 위한 최초의 종합 벤치마크로, 인간이 직접 주석을 달고 7 가지 세부 과제를 포함하여 MLLM 의 미세 인식, 공간 추론, 왜곡 견고성을 평가합니다.
2. 포괄적인 평가: 13 개의 모델 (MLLM 및 향상 기법 포함) 을 ERP 와 CMP 설정 하에서 체계적으로 평가하여 360° 인식의 현재 한계를 규명했습니다.
3. Free360 제안: 학습이 필요 없는 (Training-free) 장면 그래프 기반 프레임워크를 제안하여, 360° 특화 연산 (개체 중심 회전, 뷰 매핑) 을 통해 MLLM 의 성능을 지속적으로 향상시켰습니다.

5. 의의 및 의의 (Significance)

이 연구는 MLLM 이 360° 환경을 이해하는 데 있어 기존 평면 이미지 중심의 접근법의 한계를 명확히 드러냈습니다. 특히 학습 비용 없이 (Training-free) 고해상도 전방위 이미지의 복잡한 공간적, 기하학적 특성을 해결할 수 있는 실용적인 프레임워크 (Free360) 를 제시했다는 점에서 의미가 큽니다.

• 실제 응용: 자율 주행, 보조 로봇, 감시 시스템 등 전방위 시각 이해가 필수적인 분야에서 MLLM 의 활용 가능성을 높였습니다.
• 향후 연구 방향: 장면 그래프를 활용한 더 정교한 국부 추론 모듈 개발이나 360° 비디오 이해로 확장할 수 있는 기반을 마련했습니다.

결론적으로, 이 논문은 360° 이미지 인식 분야에서 새로운 벤치마크와 효율적인 해결책을 제시하며, MLLM 의 전방위 환경 이해 능력을 한 단계 끌어올리는 중요한 이정표가 됩니다.