💻 computer science

Learning Human Visual Attention on 3D Surfaces through Geometry-Queried Semantic Priors

이 논문은 기하학적 조건부 확산 기반 시맨틱 사전 지식과 포인트 클라우드 트랜스포머를 통합하여, 하향식(bottom-up) 기하학적 처리와 상향식(top-down) 시맨틱 인지 사이의 상호작용을 명시적으로 정형화함으로써 3D 표면에서의 인간 시각적 주의력을 모델링하는 이중 스트림 아키텍처인 SemGeo-AttentionNet을 소개한다.

원저자: Soham Pahari, Sandeep C. Kumain

게시일 2026-02-09

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Soham Pahari, Sandeep C. Kumain

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

박물관에서 3D 조각상을 보고 있다고 상상해 보세요. 왜 당신의 눈은 얼굴에서 멈추게 될까요? 왜 코트의 단추가 평평하고 코트에 주름이 가득함에도 불구하고, 그 반짝이는 단추에 시선이 머무는 걸까요?

오랫동안 컴퓨터 과학자들은 물체의 **형태(shape)**만을 관찰하며 이 질문에 답하려 노력했습니다. 그들은 "만약 무언가 툭 튀어나와 있거나, 날카로운 모서리가 있거나, 울퉁불퉁하다면 인간이 그곳을 볼 것이다"라고 생각했습니다. 하지만 이는 잘 작동하지 않았습니다. 인간은 울퉁불든하고 이상한 형태는 무시하는 대신, 우리에게 의미가 있는 것들(예: 얼굴이나 로고)처럼 매끄럽고 평평한 것들을 응시하곤 하기 때문입니다.

이 논문은 이 수수께끼를 마침el로 해결한 SemGeo-AttentionNet이라는 새로운 컴퓨터 프로그램을 소개합니다. 이 프로그램이 어떻게 작동하는지 쉽게 설명해 드리겠습니다.

1. 함께 협력하는 두 개의 뇌

저자들은 인간의 주의 집중(attention)이 두 가지 서로 다른 "뇌" 사이의 팀워크라는 점을 깨달았습니다.

"상향식(Bottom-Up)" 뇌 (기하학): 이것은 당신의 반사 신경입니다. "저 날카로운 모서리를 봐! 저 이상한 돌출부를 봐!"라고 외칩니다. 물리적인 형태에 반응합니다.
"하향식(Top-Down)" 뇌 (의미론): 이것은 당신의 지식입니다. "잠깐, 저건 얼굴이야. 저건 도구야. 저건 중요해"라고 속삭입니다. 기하학적으로 완벽하게 평평하더라도, 그것이 '무엇'인지에 반응합니다.

이전의 컴퓨터 모델들은 오직 이 "상향식" 뇌만을 가지고 있었습니다. 그들은 움직임은 감지하지만 사람이 어떻게 생겼는지는 모르는 보안 카메라와 같았습니다.

2. 새로운 해결책: 똑똑한 탐정

새로운 모델인 SemGeo-AttentionNet은 두 뇌를 동시에 사용하는 탐정처럼 행동합니다. 이 모델은 두 가지 주요 부분으로 구성됩니다.

형태 스캐너 (기하학 스트림): 이 모델은 Point Transformer V3라는 강력한 도구를 사용하여, 마치 조각가가 점토를 느끼듯 3D 물체의 모든 돌출부, 곡선, 모서리를 그려냅니다.
지식 라이브러리 (의미론 스트림): 이 부분이 마법 같은 부분입니다. 컴퓨터는 인간의 뇌를 가지고 있지 않기 때문에, 저자들은 확산 모델(Diffusion Models)(텍스트로부터 예술 작품을 만들어내는 것과 같은 AI 기술)로 만들어진 "수정 구슬"을 부여했습니다.
- 모델은 3D 물체를 가져와 모든 각도에서 100개의 서로 다른 사진을 찍은 뒤, AI에게 "이것은 무엇인가?"라고 묻습니다.
- AI는 "그것은 얼굴이다" 또는 "그것은 컵이다"라고 답합니다.
- 이를 통해 모델은 라벨링된 3D 데이터에 의해 학습되지 않고도, 물체가 '무엇'인지에 대한 사전 이해(semantic prior)를 갖게 됩니다.

3. "쿼리(Query)" 메커니즘: 누가 주도권을 잡는가?

여기서 영리한 트릭이 등장합니다. 모델은 단순히 이 두 뇌를 섞는 것이 아니라, 특정 순서에 따라 대화하게 만듭니다.

**형태(Shape)**를 **검색 쿼리(Search Query)**로, **지식(Knowledge)**을 **데이터베이스(Database)**로 생각해보세요.

형태가 말합니다: "여기에 평평한 영역이 보인다. 데이터베이스를 확인해보자. 여기가 얼굴인가? 아니면 화면인가?"
지식이 답합니다: "맞아, 그 평평한 영역은 얼굴이야. 주의를 기울여!"

이 방식은 설령 얼굴이 기하학적으로는 평평하고 특징이 없더라도, "지식" 부분이 그 중요성을 확인해주기 때문에 모델이 그곳을 주목하게 만듭니다. 하지만 형태는 여전히 "거부권"을 가집니다. 만약 지식이 "그것은 얼굴이다"라고 말하더라도, 형태가 "그것은 사실 특징이 없는 평평한 벽일 뿐이다"라고 말한다면, 모델은 주의가 분산되지 않습니다. 모델은 두 가지 모두가 동의해야 합니다.

4. "시선 추적" 게임 (강화 학습)

지금까지의 모델은 단순히 어디를 보는지 예측할 뿐이었습니다. 하지만 인간은 일련의 순서(스캔패스, scanpath)에 따라 사물을 봅니다. 먼저 코를 보고, 그다음 입을 보고, 그다음 모자를 봅니다.

저자들은 모델이 이 움직임을 시뮬레이션할 수 있도록 게임을 가르쳤습니다.

게임: 모델은 3D 물체의 표면 위를 걷는 에이전트입니다.
규칙:
1. 흥미로운 지점으로 이동하라: 높은 현저성(saliency)을 가진 영역(얼굴, 도구 손잡이 등)으로 이동합니다.
2. 지루해하지 마라: 한 지점을 너무 많이 보았다면, 벌점을 받습니다(이를 "회귀 억제, Inhibition of Return"이라고 합니다). 반드시 다음으로 넘어가야 합니다.
  3 탐험하라: 아직 보지 못한 새로운 영역을 방문하려고 노력하십시오.
결과: 모델은 인간이 3D 공간을 탐색하는 방식과 똑같이, 즉 공중을 가로질러 점프하는 것이 아니라 물체의 표면을 따라 이동하며 "눈을 움직이는 법"을 배웁니다.

5. 결과

팀은 세 가지 데이터셋(인간의 시선 추적 데이터가 포함된 3D 물체 모음)을 통해 테스트를 진행했습니다.

점수: 새로운 모델은 기존의 모든 방법보다 성능이 월등히 뛰어났습니다. 인간이 정확히 어디를 보는지 예측하는 데 훨씬 더 탁하며 우수했습니다.
증거: 결과를 살펴보았을 때, 모델은 사람들이 가고일의 눈(얼려가 매끄러운 얼굴임에도 불구하고)과 닳아버린 도구의 손잡이를 응시한다는 것을 정확히 식별해냈습니다. 반면 기존 모델들은 조각상의 울퉁불퉁하고 노이즈가 많은 부분만을 찾아냈습니다.

요약

요컨대, 이 논문은 3D 물체를 단순히 형태로만 이해하는 것이 아니라, 그 의미를 이해하는 컴퓨터 비전 시스템을 구축했습니다. 기하학적 스캐너와 AI 생성 모델에서 유래한 "지식 베이스"를 결합하고, 인간처럼 "눈"을 움직이도록 가르침으로써, 3D 세계에서 우리가 어디를 보는지 예측하는 가장 정확한 모델을 만들어냈습니다.

기술 요약: 기하학적 질의 기반 시맨틱 프라이어를 통한 3D 표면에서의 인간 시각적 주의 학습

문제 정의
3차원 객체에 대한 인간의 시각적 주의는 하향식(bottom-up) 기하학적 처리(모서리, 돌출부, 표면 불연속성에 반응)와 상향식(top-down) 시맨틱 인식(얼굴, 기능적 부위 또는 맥락적 의미 식별) 사이의 상호작용으로부터 발생합니다. 기존의 3D 살리언시(saliency) 예측 방법들은 결정적인 이분법적 문제에 직면해 있습니다. 수작업으로 설계된 기하학적 접근 방식(예: 가우시안 곡률, 메쉬 살리언시)은 왜 인간이 기하학적으로는 평범하지만 시맨틱적으로 의미 있는 영역(예: 캐릭터의 눈이나 평평한 표면 위의 텍스트)에 시선을 고정하는지 설명하지 못합니다. 반대로, 최근의 딥러닝 접근 방식들은 시맨틱 인식이 결여된 기하학적 인코더에 의존하거나, 3D 표면 토폴로지를 무시하는 2D 시맨틱 모델을 활용합니다. 또한, 기존의 스캔패스(scanpath) 생성 모델은 2D 이미지에 국한되어 있으며 3D 메쉬 연결성이나 귀환 억제(inhibition-of-return) 역학을 준수하지 못합니다.

방법론: SemGeo-AttentionNet
저자들은 비대칭 교차 모달 융합(asymmetric cross-modal fusion)을 통해 하향식/상향식 이분법을 명시적으로 정형화하도록 설계된 이중 스트림 아키텍처인 SemGeo-AttentionNet을 제안합니다.

확산 증류를 통한 시맨틱 프리어(Semantic Priors):
- 레이블이 지정된 3D 데이터 없이 시맨틱 인식을 주입하기 위해, 이 방법은 사전 학습된 텍est-to-image 확산 모델(Stable Diffusion)과 비전 트랜스포머(DINOv2)를 활용합니다.
- 입력 메쉬는 100개의 시점으로부터 렌더링됩니다. 각 뷰에 대해, 기하학 조건부 맵(깊이 및 표면 법선)이 조건부 확산 인페인팅(diffusion inpainting) 과정을 가이드합니다.
- U-Net 디코더의 중간 활성화 값은 미세한 시맨틱 세부 정보를 포착하기 위해 마지막 75%의 디노이징 단계에서 집계됩니다. 이는 DINOv2 특징과 융합되어 2048차원의 픽셀당 디스크립터를 생성합니다.
- 언프로젝션(unprojection) 연산자는 볼 쿼리(ball-query) 집계를 사용하여 이 2D 특징들을 3D 메쉬 버텍스로 매핑하여 버텍스당 시맨틱 디스크립터( $S$ )를 생성합니다. 이 파이프라인은 확산을 고정된 지각 프리어로 취급하며 오프라인으로 실행됩니다.
기하학적 인코딩:
- 메쉬는 균일하게 샘플링(2,048개 포인트)되어 기하학적 디스크립터(위치 및 법선)를 추출합니다.
- 이들은 Point Transformer V3에 의해 처리되며, 이는 복셀화(voxelization)와 공간 채움 곡선(space-filling curves)을 통해 다중 스케일 공간 구조를 포착하여 32차원의 기하학적 특징( $H_{geo}$ )을 출력합니다.
비대칭 기하-시맨틱 융합 (Asymmetric Geometry-to-Semantics Fusion):
- 핵심 혁신은 기하학적 특징이 쿼리(query) 역할을 하고 시맨틱 특징이 키(key) 및 값(value) 역할을 하는 비대칭 교차 주의(asymmetric cross-attention) 메커니즘입니다.
- 이는 하향식 기하학적 독특함이 상향식 시맨틱 지식의 검색을 유도한다는 인지적 원리를 정형화합니다.
- 잔차 연결(residual connection)은 기하학적 특징이 결코 폐기되지 않도록 보장하여, 모델이 순수 시맨식 인식으로 붕괴되는 것을 방지합니다. 최종 MLP 헤드는 버텍스당 살리언시 점수를 예측합니다.
강화 학습을 통한 시간적 스캔패스 생성:
- 본 프레임워크는 부분 관측 마르코프 결정 과정(POMDP)을 사용하여 시간적 스캔패스(고정 시퀀스)를 생성하도록 확장되었습니다.
- 상태(State): 현재 버텍스 및 방문 횟수 벡터.
- 행동(Action): 유클리드 그리드가 아닌 3D 토폴로지를 준수하며, 메쉬 표면상의 $K=6$ 개 인접 이웃 중 하나로 이동.
- 보상(Reward): 살리언시 착취(exploitation), 귀환 억제(재방문 패널티), 새로운 영역에 대한 탐색 보너스 및 다양성을 균형 있게 고려한 복합 함수.
- 학습: 정책은 근사 근접 정책 최적화(PPO)를 사용하여 최적화됩니다.

주요 기여

확산 증류된 시맨틱 프리어: 3D 주의 모델링에서 제로샷 시맨틱 그라운딩을 가능하게 하기 위해 기하학 조건부 확산 특징을 적용한 첫 사례입니다.
비대칭 융합 아키텍처: 기하학이 시맨틱을 쿼리하도록 하여, 하향식/상향식 인지적 이분법을 명시적으로 모델링하는 새로운 메커니즘입니다.
토폴로지 인식 스캔패스 RL: 메쉬 연결성을 준수하고 귀환 억제 역학을 포함하는 3D 스캔패스 생성을 위한 강화 학습 프레임워크로, 기존 2D 전용 모델의 간극을 메웁니다.

실험 결과
본 방법은 SAL3D, NUS3D, 3DVA의 세 가지 데이터셋에 대해 평가되었습니다.

SAL3D: 모델은 상관 계수(CC) 0.8492를 달성하였으며, 이는 이전 최고 성능(0.6616) 대비 28% 향상된 수치입니다. KL 발산은 0.1638로 크게 감소했습니다.
NUS3D: LCC 0.609 및 AUC-Judd 0.935를 달성하여, MIMO-GAN보다 LCC 측면에서 129% 뛰어난 성능을 보였습니다.
3DVA: 평균 LCC 0.762와 낮은 분산(0.093)을 달성하였으며, MIMO-GAN-CRF보다 49% 우수한 성능을 보였습니다.
스캔패스 생성: RL 에이전트는 NSS 2.05와 MultiMatch 점수 0.51을 달성하였으며, 이는 생성된 시간적 시퀀스가 인간의 시각 행동과 밀접하게 일치함을 나타냅니다.
정성적 분석: 시각화를 통해 모델이 기하학적 전용 방법들이 놓치는 시맨틱적으로 돌출된 영역(예: 가고일 얼굴, 문어 다리)을 정확히 식별하는 동시에, 여전히 기하학적으로 구별되는 특징에도 주목함을 확인했습니다.

의의 및 주장
본 논문은 인지적으로 동기화된 아키텍처 내에서 기하학적 처리와 시맨틱 처리를 통합함으로써, 3D 표면에서의 인간 시각적 주의를 모델링하는 새로운 패러다임을 구축한다고 주장합니다. 저자들은 본 접근 방식이 저수준의 기하학적 독특함과 고수준의 시맨틱 인식 사이의 간극을 효과적으로 메우며, 이러한 아키텍처가 기존의 기하학 전용 또는 2D 기반 방법보다 3D 객체에 대한 인간의 고정 패턴을 더 정확하게 설명할 수 있음을 입증한다고 단언합니다. 이 연구는 3D 메쉬 토폴로지 상에서 직접 스캔패스 생성을 공식화한 선구적인 작업입니다.