Generating metamers of human scene understanding

이 논문은 인간의 시야 중심 (foveal) 및 주변 (peripheral) 정보를 결합한 잠재적 장면 표현과 정렬된 이미지 메타머를 생성하기 위해 DINOv2 토큰을 활용한 이중 스트림 잠재 확산 모델인 'MetamerGen'을 제안하고, 이를 통해 인간의 장면 이해 메커니즘을 규명했습니다.

핵심

메타메르겐 (MetamerGen): 인간의 눈이 세상을 어떻게 기억하는지 그리는 AI

이 논문은 **"우리가 세상을 볼 때, 뇌가 실제로 무엇을 기억하고 있을까?"**라는 아주 흥미로운 질문에서 시작합니다.

저자는 이 질문에 답하기 위해 **MetamerGen(메타메르겐)**이라는 새로운 AI 도구를 개발했습니다. 이 도구의 핵심 아이디어를 일상적인 비유로 설명해 드리겠습니다.

---

1. 우리의 눈은 어떻게 세상을 볼까? (초점과 주변부)

인간의 눈은 마치 고해상도 카메라와 흐릿한 야간 시야가 섞인 것과 같습니다.

• 초점 (Fovea): 우리가 직접 바라보는 부분은 아주 선명하고 자세합니다. (예: 책상 위의 컵)
• 주변부 (Periphery): 눈의 가장자리로 보이는 부분은 흐릿하고 대략적인 형태만 잡힙니다. (예: 책상 전체의 분위기, 벽의 색깔)

우리는 이 두 가지 정보를 합쳐서 "아, 이건 부엌이야"라고 이해합니다. 하지만 문제는 **우리가 기억하는 이 '부엌'의 이미지가 실제 사진과 얼마나 다를까?**입니다.

2. 메타메르겐 (MetamerGen) 이란 무엇인가?

메타메르겐은 **"사람이 본 것과 똑같이 느껴지는 가짜 사진을 만드는 AI"**입니다.

• 비유: 상상해 보세요. 친구가 눈을 감고 "내가 방금 본 거야!"라고 말하며 그림을 그립니다. 그 그림은 실제 사진과 똑같지 않을 수 있습니다. 하지만 친구의 기억 속에서는 그 그림이 진짜와 똑같습니다.
• 메타메르겐은 바로 그 **'기억 속의 진짜'**를 만들어내는 도구입니다. AI 가 만든 그림을 보고 사람들이 "아, 이건 내가 본 그 방이야!"라고 생각하면, 그 그림은 **'메타메르 (Metamer)'**가 됩니다. 즉, 물리적으로는 달라도 뇌는 "같다"고 착각하는 것입니다.

3. 어떻게 작동할까? (두 개의 눈)

메타메르겐은 사람의 눈을 모방하기 위해 두 가지 정보를 동시에 사용합니다.

1. 흐릿한 배경 (주변부 정보): 전체적인 분위기, 빛의 느낌, 공간의 크기 같은 '대략적인 느낌 (Gist)'을 제공합니다.
2. 선명한 점들 (초점 정보): 사람이 실제로 눈으로 멈추고 본 (시선 고정) 부분의 선명한 디테일을 제공합니다.

작동 원리:
AI 는 "흐릿한 배경" 위에 "선명한 점들"을 찍어 넣습니다. 그리고 나머지 빈 공간은 사람의 기억에 맞춰 채워 넣습니다. 마치 점토를 빚을 때, 손이 닿은 부분만 정교하게 다듬고 나머지는 대충 모양만 잡는 것과 비슷합니다.

4. 실험: 사람들은 속을까?

연구진은 45 명의 참가자를 모아 실험을 했습니다.

1. 참가자가 자연스러운 사진을 보고 눈을 움직이며 구경합니다.
2. 사진이 사라진 후, 메타메르겐이 그 사람의 시선 패턴을 분석해 새로운 그림을 그립니다.
3. 참가자에게 원래 사진과 AI 가 그린 그림을 번갈아 보여주고 "같은가, 다른가?"를 물어봤습니다.

결과:
놀랍게도 많은 참가자가 AI 가 그린 그림을 **"원래 사진과 같다"**고 판단했습니다. 이는 AI 가 사람의 뇌가 세상을 이해하는 방식 (기억 방식) 을 아주 잘 따라잡았다는 뜻입니다.

5. 무엇이 가장 중요했을까? (디테일 vs 의미)

연구진은 "사람들이 왜 속았을까?"를 분석했습니다.

• 오해하기 쉬운 사실: 그림의 픽셀이 얼마나 비슷한지 (화질) 는 중요하지 않았습니다.
• 진짜 핵심: **의미 (Semantics)**가 중요했습니다.
  • 예를 들어, 원래 사진에 '개'가 있다면 AI 가 그린 그림에도 '개'가 있어야 합니다.
  • 원래 사진이 '해변'이라면 AI 그림도 '해변'이어야 합니다.
  • 중요한 발견: 사람이 직접 본 곳 (초점) 과 주변부 (흐릿한 부분) 가 모두 결합되었을 때 가장 잘 속았습니다. 특히 **주변부의 흐릿한 정보 (전체적인 분위기)**가 없으면 AI 가 만든 그림은 아무리 디테일이 좋아도 "뭔가 다르다"고 느껴졌습니다.

6. 이 연구가 왜 중요한가?

이 연구는 단순한 그림 그리기 기술을 넘어, 인간의 뇌가 세상을 어떻게 '요약'해서 저장하는지를 보여줍니다.

• 인지과학: 우리가 세상을 볼 때, 세부적인 디테일보다는 '전체적인 맥락'과 '의미'를 더 중요하게 기억한다는 것을 증명했습니다.
• AI 기술: 앞으로 더 자연스러운 AI 를 만들려면, 단순히 고화질 이미지를 만드는 게 아니라 사람의 눈과 뇌가 어떻게 정보를 처리하는지를 따라야 한다는 교훈을 줍니다.

요약

메타메르겐은 "사람이 본 기억 속의 세상"을 그림으로 재현하는 AI 입니다. 이 AI 는 흐릿한 전체 그림과 선명한 몇몇 점을 합쳐서, 사람이 보기에 "아, 이게 내가 본 그거야!"라고 착각하게 만듭니다. 이 실험을 통해 우리는 인간의 뇌가 세상의 디테일보다는 '의미'와 '분위기'를 더 중요하게 여긴다는 놀라운 사실을 알게 되었습니다.

기술 요약

MetamerGen: 인간 장면 이해에 대한 메타메러 (Metamer) 생성 기술 요약

이 논문은 인간이 시각 장면을 인지하는 방식을 모델링하고, 인간의 지각과 물리적으로 다르지만 동일한 것으로 인식되는 이미지 (메타메러, Metamer) 를 생성하는 새로운 도구인 MetamerGen을 제안합니다. 이 연구는 ICLR 2026 에서 발표된 컨퍼런스 논문입니다.

1. 문제 정의 (Problem)

인간의 시각 시스템은 주변 시야 (peripheral vision) 에서 얻는 저해상도의 '개요 (gist)' 정보와 고정점 (fixation) 에서 얻는 희소하지만 고해상도의 정보를 결합하여 일관된 장면 이해를 구성합니다. 기존 연구들은 주로 저수준 통계 (텍스처, 형태) 를 기반으로 한 메타메러 생성에 집중했으나, **시선 (fixation) 이 이동한 후 형성되는 고수준의 장면 이해 (scene understanding)**를 모델링하는 데는 한계가 있었습니다.

• 핵심 질문: 인간이 특정 장면의 일부만 (고정점) 보고 주변부는 흐릿하게 인지할 때, 뇌에 저장된 잠재적 장면 표현 (latent scene representation) 과 일치하는 생성 이미지는 어떤 조건에서 가능할까?
• 목표: 인간의 시선 패턴과 주변부 정보를 기반으로, 인간이 원본과 '동일하다'고 판단하는 메타메러 이미지를 생성하는 모델 개발.

2. 방법론 (Methodology)

MetamerGen 은 잠재 확산 모델 (Latent Diffusion Model, LDM) 인 Stable Diffusion 을 기반으로 하며, 인간의 시선 주시 (fixation) 와 주변부 정보를 조건 (conditioning) 으로 활용하는 이중 스트림 (Dual-stream) 아키텍처를 도입했습니다.

2.1. 핵심 구성 요소

1. 특징 추출기 (Feature Extractor):

   • DINOv2를 사용하여 이미지 패치 토큰을 추출합니다. (CLIP 대신 선택된 이유는 DINOv2 가 국소적 디테일과 주변 맥락 정보를 동시에 더 잘 인코딩하기 때문입니다.)
   • 고정점 (Foveal) 정보: 인간의 시선이 머무른 고해상도 영역의 패치 토큰을 추출합니다.
   • 주변부 (Peripheral) 정보: 이미지를 다운샘플링하여 흐리게 만든 후 추출한 전체 장면의 맥락 정보를 추출합니다.

2. 이중 스트림 어댑터 (Dual-stream Adapters):

   • Perceiver Resampler: DINOv2 에서 추출한 1024 개의 토큰을 Stable Diffusion 의 Cross-Attention 메커니즘에 호환되는 32 개의 조건 토큰으로 압축합니다.
   • 이중 스트림 통합: 고정점 특징과 주변부 특징을 별도의 Cross-Attention 경로를 통해 UNet 에 주입합니다.
     • 수식적으로, Cross-Attention 출력은 텍스트, 고정점, 주변부 조건에 대한 가중 합으로 계산됩니다.
     • $\text{Attention} = \text{Softmax}(QK_{text}^T)V_{text} + \lambda_{foveal}\text{Softmax}(QK_{foveal}^T)V_{foveal} + \lambda_{peripheral}\text{Softmax}(QK_{peripheral}^T)V_{peripheral}$

3. 학습 및 추론:

   • MS-COCO 데이터셋으로 사전 훈련된 Stable Diffusion 1.5 를 기반으로 미세 조정 (Fine-tuning) 합니다.
   • 추론 시에는 실험 참가자의 실제 시선 데이터 (또는 무작위 시선) 를 기반으로 이미지를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 메타메러 생성 프레임워크: 단순한 텍스처 합성이 아닌, 인간의 시선 주시 (fixation) 와 주변부 개요 (gist) 를 결합하여 장면 이해 수준의 메타메러를 생성하는 첫 번째 시도입니다.
2. 이중 스트림 조건부 생성 (Dual-stream Conditioning): 고해상도 고정점 정보와 저해상도 주변부 맥락 정보를 동시에 활용하는 새로운 이미지 - 투 - 이미지 합성 문제를 해결하기 위한 아키텍처를 제안했습니다.
3. 행동 실험을 통한 검증: 생성된 이미지가 실제로 인간의 지각과 일치하는지 확인하기 위해 Same-Different(동일/상이) 행동 실험을 수행했습니다.
4. 지각적 정렬의 메커니즘 규명: 어떤 시각적 특징 (저수준, 중수준, 고수준) 이 메타메러 판단에 가장 중요한 영향을 미치는지 정량적으로 분석했습니다.

4. 실험 결과 (Results)

4.1. 행동 실험 (Behavioral Experiment)

• 실험 설계: 참가자가 자연 장면을 특정 횟수 (1~10 회) 의 시선으로 관찰한 후, MetamerGen 이 생성한 이미지를 200ms 동안 보여주고 원본과 같은지 판단하게 했습니다.
• 결과:
  • 참가자의 실제 시선을 기반으로 생성된 이미지는 약 **29.4%**의 비율로 '동일 (Same)'하다고 판단받았습니다 (메타메러로 간주).
  • 무작위 시선을 기반으로 생성된 경우 (27.7%) 와 통계적으로 유의미한 차이는 없었으나, **고수준 의미적 정렬 (Semantic Alignment)**이 참가자 자신의 시선 기반 생성 시 메타메러 판단을 더 강력하게 예측했습니다.

4.2. 특징 분석 (Feature Analysis)

• 신경 기반 특징 맵 (Neurally-grounded Features): AlexNet 의 각 층 (초기, 중기, 후기) 에서 추출한 특징의 유사도가 높을수록 메타메러 판단 비율이 증가했습니다. 이는 메타메러가 시각 처리 계층 전체에 걸쳐 정렬되어야 함을 시사합니다.
• 해석 가능한 특징 (Interpretable Features):
  • 저수준: 생성된 이미지의 텍스처 정의 (Gabor 필터 응답) 가 원본보다 강할수록 '동일' 판단이 증가했습니다.
  • 중수준: 깊이 (Depth) 정보의 일치가 메타메러 판단에 매우 중요한 역할을 했습니다.
  • 고수준: **의미적 유사성 (Semantic Similarity, DreamSim)**이 가장 강력한 예측 변수였습니다. 특히 참가자의 시선을 기반으로 할 때 의미적 정렬이 메타메러 형성에 결정적이었습니다.

4.3. 제거 실험 (Ablation Study)

• 주변부 정보의 중요성: 고정점 정보만 사용한 경우 메타메러 비율이 8.4% 로 매우 낮았으나, 주변부 정보만 사용한 경우 45.8% 로 높았습니다.
• 결론: **주변부 정보 (전체 장면 구조/레이아웃)**가 메타메러 형성에 더 큰 기여를 하지만, 고정점 정보가 추가되면 생성된 이미지가 인간의 장면 이해와 더 잘 정렬되어 메타메러 비율이 54.5% 로 가장 높아졌습니다.

5. 의의 및 결론 (Significance)

1. 인지과학적 도구: MetamerGen 은 인간의 장면 이해가 어떻게 형성되는지 탐구하는 강력한 도구입니다. 특정 시선 분포 하에서 인간이 무엇을 인지하는지에 대한 가설을 행동 실험으로 검증할 수 있게 합니다.
2. 기계학습의 발전: 희소한 입력 (Sparse inputs) 을 기반으로 인간과 정렬된 의미적으로 일관된 장면을 생성하는 새로운 패러다임을 제시합니다.
3. 실용적 함의: 메타메러 생성은 인간의 지각적 한계와 허용 오차를 이해하는 데 도움이 되며, 이를 통해 인간과 더 자연스럽게 상호작용하는 차세대 보조 기술 개발에 기여할 수 있습니다.

요약하자면, MetamerGen 은 인간의 시각 시스템이 '개요'와 '세부 정보'를 어떻게 통합하는지를 모방하여, 인간이 원본과 구별하지 못하는 이미지를 생성하는 데 성공했으며, 이를 통해 인간 장면 이해의 핵심 요소가 **전체적인 맥락 (주변부)**과 고수준 의미 정보임을 규명했습니다.