기술 요약: 객체 중심 시각 추론을 위한 약한 감독 개념 학습

1. 문제 제기

본 논문은 신경-심볼릭 AI 의 '상징 접지 (symbol grounding) 문제', 즉 고차원 비구조화 감각 데이터 (이미지) 를 논리적 추론에 적합한 이산적이고 인간이 해석 가능한 심볼 개념으로 자율적으로 매핑하는 과제를 다룹니다.

현재 접근법들은 다음과 같은 이분법에 직면해 있습니다:

• 종단간 (End-to-end) 미분 가능 시스템은 종종 최적화 어려움을 겪고 해석 가능성이 부족합니다.
• 2 단계 접근법(지각와 추론 분리) 은 해석 가능성을 제공하지만, 심볼을 효과적으로 접지시키기 위해 지각 단계에 비용이 많이 들고 밀집된 주석이 필요한 경우가 많습니다.
• 완전 비지도 학습 방법은 인덕티브 바이어스 (유도적 편향) 의 부재로 인해 잠재 요인이 두드러진 인간 해석 가능 개념과 정렬되지 않아 분리된 표현 학습에 실패하는 경우가 많습니다.

저자들은 이러한 극단 사이를 오가는 해결책을 제안하며, 희소 레이블(데이터의 1% 만) 이도 생성 모델을 고품질의 객체 중심 심볼 배경 지식 학습으로 이끄는 데 충분하다는 가설을 세웠습니다.

2. 방법론

제안된 프레임워크는 (그림 1 에 도시된) 2 단계 신경 - 심볼릭 파이프라인입니다:

1 단계: 약한 감독 지각 (SlotVAE)

지각 모듈은 Slot Attention과 통합된 **변분 오토인코더 (VAE)**입니다.

• 아키텍처: CNN 인코더를 사용하여 특징을 추출한 후, 반복적이고 경쟁적인 주의 메커니즘을 통해 고정된 수의 객체 중심 '슬롯'($z_{slot}$) 으로 특징을 그룹화합니다.
• 구조화된 잠재 공간: 해석 가능성을 보장하기 위해 각 슬롯의 잠재 벡터는 좌표 ($z_{coord}$), 존재 여부 ($z_{presence}$), 모양, 색상, 크기, 재질 등 특정 개념 속성에 할당된 서브 벡터로 명시적으로 분할됩니다.
• 약한 감독: 모델은 다음을 포함하는 복합 손실 함수 ($L_{total}$) 로 훈련됩니다:
  • 재구성 손실 ($L_{recon}$) 과 KL 발산 ($L_{KL}$).
  • 희소 감독 신호: 감독은 데이터의 작은 부분 (1%~75%) 에만 적용됩니다. 여기에는 카테고리 헤더 (모양, 색상 등) 에 대한 감독 개념 손실 ($L_{sup}$) 과 좌표 및 존재 예측을 위한 특정 손실이 포함됩니다.
  • 이러한 감독은 인덕티브 바이어스 역할을 하여 분리된 잠재 공간이 인간이 해석 가능한 개념과 정렬되도록 유도합니다.

2 단계: 심볼 추론

VAE 의 출력은 하류 추론을 위한 심볼 어휘로 변환됩니다:

1. 추론 및 필터링: 존재 확률이 낮은 슬롯은 폐기됩니다.
2. 심볼 접지: 예측된 로짓은 심볼 원자 (예: color(obj_i, red)) 로 변환됩니다.
3. 배경 지식 구축: 이러한 원자들은 다양한 추론 엔진을 위한 배경 지식으로 작용하는 1 차 논리 술어 집합을 형성합니다.

이 프레임워크는 유도 논리 프로그래밍 (ILP/Popper), 의사결정나무 (DT), 베이지안 네트워크 (BN), **신경 - 심볼릭 개념 학습자 (NS-CL)**를 포함한 다양한 추론기를 지원합니다.

3. 주요 기여

1. 약한 감독 객체 중심 VAE: 최소한의 감독 (1%) 이도 도메인 이동 하에서 (특히 실제 의료 영상 작업에서) 기반 모델 (예: DINOv2) 보다 우수한 개념 일반화를 달성할 수 있음을 보여주는 새로운 아키텍처.
2. 유연한 2 단계 파이프라인: 특정 논리 작업에 최적의 추론기를 선택할 수 있는 모듈식 설계 (예: 조합 규칙을 위한 ILP, 확률적 카운팅을 위한 베이지안 네트워크).
3. 지각 - 추론 병목 현상에 대한 실증 분석: 감독이 낮아질수록 술어 충실도가 어떻게 저하되는지 정량화하고, 일부 추론기 (ILP 등) 는 특정 규칙 유형에 대해 지각 노이즈에 강건하지만, 단일 개념의 술어 정확도가 낮을 때 복잡한 다중 개념 결합은 여전히 과제임을 규명함.

4. 실험 결과

저자들은 합성 데이터셋 (CLEVR, dSprites, 3D-Shapes) 과 실제 의료 데이터셋 (HAM10000, Melanoma) 에서 접근법을 평가했습니다.

RQ1: 감독 약화의 영향

• 개념 학습: 술어 품질은 감독에 비례합니다. 1% 감독에서 모델은 구조적 개념 (크기: 약 88%, 모양: 약 71%) 을 높은 충실도로 학습하지만, 고분산 표면 개념 (색상: 약 22%) 에서는 어려움을 겪습니다.
• 추론 처리 가능성: 간단한 규칙 (예: "노란색 구체 포함") 은 높은 모양 충실도로 인해 1% 감독으로도 해결 가능했습니다. 그러나 색상 및 공간 관계와 같은 여러 개념에서 높은 충실도를 요구하는 복잡한 결합 규칙은 감독이 25~75% 에 도달할 때까지 실패했습니다.

RQ2: 도메인 이동에 대한 강건성

• 비대칭 적응: 모델은 단순 (2D) 에서 복잡 (3D) 한 도메인으로의 전이에서는 강력한 성능을 보였으나, 3D 에서 2D 로 전이할 때는 정보 손실로 인해 '모델 붕괴'를 겪었습니다.
• 표면 vs 구조: 구조적 개념 (모양, 크기) 은 도메인 간에 잘 전이되었습니다. 표면 개념 (색상) 은 복잡 (텍스처 있음) 한 도메인에서 단순 (균일) 한 도메인으로 전이할 때만 강건했으며, 그 반대 전이는 실패했습니다.

RQ3: 하류 논리 추론

• ILP 강건성: ILP 프레임워크 (Popper) 는 조합 규칙 (존재, 결합, 선택) 에 대해 15% 감독 지각 모듈을 사용하더라도 지각 노이즈에 대해 완벽한 강건성(F1=1.0) 을 보여주었습니다.
• 전문화: 다른 프레임워크들은 전문성을 보였습니다: 의사결정나무는 카디널리티 (카운팅) 에서 뛰어났으며, 베이지안 네트워크와 NS-CL 은 보편 양화사에 대해 더 나은 성능을 보였습니다.

RQ4: 베이스라인 비교 (의료 사례 연구)

• Zero-Shot 일반화: 1% 감독에서 SlotVAE 는 Melanoma 데이터셋에서 0.746의 Zero-Shot 정확도를 달성하여 DINOv2 (0.679) 및 ResNet+SA (0.579) 와 같은 최신 기반 모델을 크게 능가했습니다.
• 지각 병목: SlotVAE 는 잘 일반화되었으나, 지각 모듈이 진단과 국소화를 동시에 높은 충실도로 유지할 수 없었기 때문에 "등 뒤의 악성 병변"과 같은 복잡한 결합 규칙에서는 파이프라인이 실패했습니다. 이는 객체 중심 인덕티브 바이어스와 장면 중심 개념 (국소화) 간의 불일치를 강조했습니다.

5. 중요성 및 주장

본 논문은 약한 감독 2 단계 신경 - 심볼릭 접근법이 확장 가능하고 신뢰할 수 있는 AI 로 가는 데이터 효율적인 경로를 제공한다고 주장합니다.

• 데이터 효율성: 최소한의 감독 신호로도 단순한 구조적 개념을 접지할 수 있어, 데이터가 부족한 도메인 일반화 시나리오에서 기반 모델보다 뛰어난 추론 능력을 가능하게 함을 입증했습니다.
• 모듈성: 지각과 추론의 분리는 특정 논리 구조에 가장 적합한 추론기와 지각 모듈을 전략적으로 짝짓는 것을 가능하게 합니다 (예: 조합 규칙을 위해 ILP 사용).
• 한계: 저자들은 단순한 개념에 대한 Zero-Shot 일반화에서는 이 접근법이 뛰어나지만, 복잡한 다중 개념 추론은 여전히 병목 현상임을 겸손하게 인정합니다. 진단과 위치와 같이 필요한 모든 개념을 동시에 예측하지 못하는 실패는 지각 모듈의 인덕티브 바이어스가 개념의 성격 (이산적 객체 vs 전체적 장면 속성) 에 신중하게 맞춰져야 함을 시사합니다.

이 연구는 구조적 특징은 매우 전이 가능하지만, 표면 특징의 강건한 적응과 다중 개념 추론은 지각 및 추론 단계의 병렬 또는 교차 훈련을 통해 추가적인 조사가 필요하다고 결론지었습니다.