기술 요약: 원거리 감독을 활용한 신경-심볼릭 객체 중심 학습

문제 정의

현재의 신경-심볼릭 AI 시스템은 중요한 병목 현상에 직면해 있습니다. 약한 라벨로부터 잠재적 개념을 심볼릭 규칙을 통해 효과적으로 감독할 수는 있지만, 이러한 규칙이 참조하는 개체 (객체) 들은 이미 지정되어 있다고 가정하는 경우가 일반적입니다. 반면, 객체 중심 학습 모델은 이미지를 슬롯과 유사한 표현으로 분해할 수는 있으나, 이러한 슬롯들을 심볼릭 추론에 필요한 특정 술어와 정렬시키는 데 실패하는 경우가 많습니다. 특히 개체 수준의 감독 (예: 마스크, 바운딩 박스, 또는 개체별 라벨) 이 unavailable 한 상황에서 그렇습니다.

본 논문은 원거리 감독 하의 객체 중심 신경-심볼릭 학습이라는 과제를 다룹니다. 핵심 문제는 다음과 같은 모델을 학습하는 것으로 정의됩니다:

1. 입력: 이미지와 라벨의 쌍 $(x, y)$로 구성된 데이터셋. 이미지는 알 수 없는 수의 개체를 포함할 수 있으나, 개체 식별, 위치, 또는 클래스에 대한 주석은 존재하지 않습니다.
2. 제약 조건: 잠재적 개체 수준 술어 (예: 개체성과 클래스) 가 어떻게 전역 라벨 $y$를 결정하는지 명시하는 확률적 논리 프로그램 $L$이 제공됩니다.
3. 목표: 명시적인 개체 수준 감독 없이 전역 작업 라벨로부터 직접 개체 중심 구조 (이미지의 어떤 부분이 개체이며 그것이 무엇인지) 를 추론하는 신경-심볼릭 모델을 학습하여, 심볼릭 레이어가 지각 레이어를 제약할 수 있도록 하는 것입니다.

방법론: DeepObjectLog

저자들은 슬롯 기반 지각 인코더와 확률적 논리 레이어를 통합한 확률적 신경-심볼릭 아키텍처인 DeepObjectLog를 제안합니다. 이 모델은 감가상각 추론 (amortized inference) 을 사용하는 최대 사후 확률 (MAP) 목적 함수를 통해 엔드 - 투 - 엔드 방식으로 훈련됩니다.

1. 확률적 그래픽 모델

이 모델은 이미지 $x$, 작업 라벨 $y$, 그리고 장면 표현 $z$, 슬롯 표현 $s$, 개체성 확률 $\beta$, 개체성 플래그 $o$, 그리고 클래스 라벨 $c$를 포함한 잠재 변수들에 대한 결합 분포를 정의합니다.

• 인코더: 슬롯 어텐션 (Slot Attention) 메커니즘은 이미지로부터 최대 $N$개의 잠재 슬롯 표현 $s_i$를 추출합니다.
• 개체 감지기 및 분류기: 각 슬롯에 대해 모델은 다음을 예측합니다:
  • 슬롯이 의미 있는 개체에 해당하는지에 대한 불확실성을 나타내는 개체성 확률 $\beta_i \in [0, 1]$.
  • 개체성에 조건부인 클래스 분포 $p(c_i | s_i, \beta_i)$.
  • 개체성 플래그 $o_i$는 매개변수 $\beta_i$를 갖는 베르누이 변수로 모델링됩니다.
• 소프트 마스킹: 배경이나 부수적인 슬롯의 영향을 줄이기 위해, 슬롯 표현은 분류기와 디코더로 전달되기 전에 개체성 점수 $\beta_i$와 요소별 곱셈을 수행합니다.

2. 확률적 논리 추론

심볼릭 구성 요소는 확률적 논리 프로그래밍 프레임워크인 ProbLog를 활용합니다.

• 확률적 사실: 개체성 플래그 $o_i$와 클래스 할당 $c_i$는 확률적 사실 (예: $p::object(i)$) 로 간주됩니다.
• 규칙: 논리 규칙은 이러한 사실들이 어떻게 결합되어 작업 라벨 $y$를 결정하는지 정의합니다 (예: $add(Z) \leftarrow digit(1, Y1), digit(2, Y2), Z \text{ is } Y1 + Y2$).
• 마진화: 관찰된 라벨 $y$의 가능도는 모든 가능한 개체성 및 클래스 할당에 대해 마진화하여 계산됩니다. 이를 통해 시스템은 이산적 샘플링이나 휴리스틱 집합 매칭 손실 (예: 헝가리안 손실) 없이 미분 가능한 작업 수준 학습 신호를 계산할 수 있습니다.

3. 학습 목적 함수

훈련 목적 함수는 관찰된 데이터와 잠재적 설명 $z$의 결합 확률을 최대화합니다:
$$\max_{\theta, \phi} \sum_{(x,y) \in D} \log p_\theta(y | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p_\theta(x | s^*(q_\phi(x)), \beta^*(q_\phi(x))) + \log p(q_\phi(x))$$
여기서:

• 첫 번째 항은 추론된 객체 중심 표현이 심볼릭 작업 라벨을 설명하도록 장려합니다.
• 두 번째 항 (재구성 손실) 은 표현이 입력 이미지를 재구성할 수 있도록 보장합니다.
• 세 번째 항은 감가상각 잠재적 설명에 대한 사전 분포입니다.
• $q_\phi$는 잠재적 설명 $z$를 근사하는 신경 인코더로, 각 훈련 예제에 대한 내부 최적화 루프의 필요성을 제거합니다.

주요 기여

1. 정식화: 본 논문은 개체가 구조화된 입력으로 제공되는 것이 아니라 지각으로부터 추론되어야 하는, 원거리 감독으로부터의 객체 중심 신경-심볼릭 학습 문제를 정식화합니다.
2. 확률적 인터페이스: 슬롯과 논리 사이의 미분 가능한 인터페이스를 도입하여, 개체성 및 클래스 변수가 확률적 추론을 통해 마진화됩니다. 이는 개체 주석, 이산적 샘플링, 또는 집합 매칭 손실의 필요성을 제거합니다.
3. DeepObjectLog 아키텍처: 저자들은 이 정식을 DeepObjectLog 에서 구체화하여 논리적 피드백이 객체 중심 표현의 작업 관련 사용을 개선하고 더 강력한 관계적 일반화를 지원함을 입증합니다.

실험 결과

이 모델은 MultiMNIST-Addition, PokerRules, CLEVR-Addition, COCOLogic 의 네 가지 벤치마크에서 평가되었습니다.

• 구성적 일반화: MultiMNIST-Addition 에서 DeepObjectLog 는 분포 외 (OOD) 구성 (보지 못한 숫자 조합) 에 대해 **90.00%**의 정확도를 달성하여 신경 기반 모델 (예: 13.30% 의 슬롯 어텐션) 과 객체 중심 지각이 없는 표준 신경-심볼릭 기반 모델 (35.76%) 을 크게 능가했습니다.
• 작업 일반화: PokerRules 작업에서 모델은 훈련 중 보지 못한 클래스 (예: "three of a kind") 에 대해 **72.23%**의 정확도를 달성한 반면, 신경-심볼릭 기반 모델은 실패했습니다 (0.46%). 신경 기반 모델은 훈련 라벨에 의해 출력 공간이 고정되어 새로운 클래스로 일반화할 수 없었습니다.
• 개체 수 일반화: 이 모델은 훈련 중 보지 못한 개체 수 (예: MultiMNIST 의 4-5 자리 숫자) 가 포함된 이미지로 강력한 외삽을 보여주었으며, 경쟁 모델들이 크게 저하되는 상황에서도 높은 정확도를 유지했습니다.
• 학습 신호 강도: COCOLogic 에서 DeepObjectLog 는 0% 의 개체 수준 감독으로 비자명한 개념 정확도를 달성하여, 작업 신호로부터 순수하게 개체 구조를 학습할 수 있음을 입증했습니다. 이 성능은 감독 수준이 증가함에 따라 유지되었습니다.
• VLM 과의 비교: MultiMNIST-Addition OOD 작업에서 DeepObjectLog(90% 정확도) 는 제로샷 프롬프트 하에서 작업을 신뢰성 있게 해결하는 데 어려움을 겪었던 대규모 비전 - 언어 모델 (LLaVA-1.5 및 Qwen2.5-VL) 보다 크게 우월한 성능을 보였습니다.

중요성 및 주장

본 논문은 DeepObjectLog 가 지각적 개체 발견과 심볼릭 추론 사이의 간극을 메움으로써 더 일반적인 신경-심볼릭 시스템으로 나아가는 중요한 단계라고 주장합니다. 그 주요 중요성은 다음과 같습니다:

1. 관계적 일반화: 새로운 개체 구성, 다른 개체 수, 그리고 학습된 어휘에 대한 새로운 심볼릭 쿼리를 포함한 분포 변화 하에서 추론을 지원하는 능력.
2. 감독 없이 견고성: 명시적인 개체 수준 감독 (마스크 또는 바운딩 박스) 을 요구하지 않고 전역 작업 라벨과 심볼릭 규칙에만 의존하여 의미 있는 객체 중심 구조를 학습하고 이에 대해 추론할 수 있는 능력.
3. 해석 가능성: 이 모델은 심볼릭 추론 과정과 정렬되는 해석 가능한 개체 수준 예측 (개체성과 클래스) 을 제공하여, 순수 신경 접근법이 lacking 하는 보장을 제공합니다.

저자들은 확률적 논리에서 정확한 추론의 계산 비용 (최적화 프레임워크로 완화됨) 과 약한 감독 설정에서의 추론 단축 가능성 (구조적 제약이 이를 억제하도록 설계됨) 을 포함한 한계를 인정합니다. 결론적으로 이 접근법은 견고하고 해석 가능한 AI 를 발전시키지만, 향후 배포 시 편향 및 이중 사용 감시와 관련된 위험을 고려해야 한다고 결론지었습니다.