기술 요약: 인간 가이드를 활용한 신경 심볼적 모방 학습: 특권 정보 접근법

문제 제기

모방 학습 (Imitation Learning, IL) 은 전문가 시연으로부터 정책 (상태에서 행동으로의 매핑) 을 학습하는 것을 목표로 합니다. 순수 신경망 방법 (예: 행동 복제, Behavioral Cloning) 은 이미지와 같은 고차원 원시 데이터를 효과적으로 처리하지만, 샘플 비효율성, 과적합, 그리고 물체 수가 변하는 환경으로의 일반화 부족으로 고통받습니다. 반면, 순수 심볼릭 방법은 해석 가능성과 강력한 일반화를 제공하지만 고차원 입력을 직접 처리하는 데 어려움을 겪으며, 종종 사전에 지정된 심볼릭 표현을 필요로 합니다.

또한, 기존 모방 학습 방법들은 종종 **특권 정보 (Privileged Information, PI)**인 훈련 중에는 이용 가능하지만 배포 중에는 이용 불가능한 보조 데이터를 활용하지 못합니다. 시선 데이터 (인간의 안구 추적) 는 시각 작업에서 PI 의 자연스러운 후보이지만, 이전 접근법들은 주로 시선 가이드를 신경망 정책에 적용하여 그 "블랙박스" 성격을 유지하거나, 근본적인 심볼릭 추론 과정을 변경하지 않은 채 단순한 정규화 목적으로만 사용했습니다.

본 논문이 다루는 핵심 과제는 다음과 같습니다: 고차원 처리 능력을 갖춘 신경망과 일반화 및 해석 가능성을 갖춘 심볼릭 추론을 결합하면서, 특히 인간의 시선과 같은 특권 정보를 효과적으로 활용하여 견고하고 일반화 가능한 정책 학습을 안내하는 모방 학습 프레임워크를 어떻게 개발할 수 있는가?

방법론: GRAIL 프레임워크

저자들은 원시 이미지와 시선 데이터로부터 해석 가능한 확률적 논리 규칙을 학습하기 위해 세 개의 긴밀하게 결합된 모듈을 통합하는 신경 심볼릭 프레임워크인 GRAIL(Gaze-guided Relational Imitation Learning) 을 제안합니다.

1. 신경 심볼적 그라운딩 (지각 모듈)

GRAIL 은 심볼릭 입력을 가정하는 대신 원시 픽셀 관찰 ($o_t$) 을 수용합니다. 신경 지각 네트워크 ($f_\theta$) 는 이러한 원시 이미지를 일련의 확률적 그라운딩 원자 (probabilistic grounded atoms)($v^{(0)}_t$) 로 매핑합니다.

• 메커니즘: 네트워크는 사전 정의된 1 차 술어 집합 (예: visibleEnemy, closeToPlayer) 에 대한 진리 확률 벡터를 출력합니다.
• 훈련: 이 모듈은 객체 추출 오라클 (OCAtari) 로부터 유도된 ground-truth 이진 레이블을 사용하여 음의 로그 가능도 (Negative Log-Likelihood, NLL) 손실로 독립적으로 훈련됩니다. 훈련이 완료되면 고정된 특징 추출기로 작용합니다.

2. 특권 시선 변조

이는 특권 정보를 활용한 학습 (Learning Using Privileged Information, LUPI) 패러다임을 활용하는 핵심 혁신입니다.

• 시선 예측: 별도의 네트워크 ($g_\phi$) 가 원시 프레임으로부터 시선 히트맵을 예측하도록 훈련되며, ground-truth 안구 추적 데이터에 대한 Kullback-Leibler 발산을 최소화합니다.
• 원자 재가중치: 정책 훈련 동안 시선 히트맵은 그라운딩된 원자에 참조된 각 개체에 대한 "시선 질량"($s_i$) 을 계산하는 데 사용됩니다.
• 변조: 초기 원자 확률은 시선 점수에 의해 재가중치됩니다: $v^{(g)}_{t,i} = v^{(0)}_{t,i} \cdot s_i$.
• 효과: 이 메커니즘은 인간 전문가가 보지 않은 배경이나 작업과 무관한 개체에 해당하는 원자의 확률을 억제하여, 논리적 추론 단계 이전에 가짜 상관관계를 효과적으로 필터링합니다.

3. 미분 가능한 전방향 연쇄 추론기 (정책 학습)

시선 변조된 심볼릭 상태 ($v^{(g)}_t$) 는 **신경 심볼릭 전방향 추론기 (Neurosymbolic Forward Reasoner, NSFR)**로 입력됩니다.

• 논리: 추론기는 사전 정의된 1 차 논리 (First-Order Logic, FOL) 결정 절 (규칙) 라이브러리에 대해 미분 가능한 전방향 연쇄 추론을 수행합니다.
• 미분 가능성: 논리 연산 (논리곱/논리합) 은 퍼지 논리 의미론 (곱 T-norm 및 T-conorm) 을 사용하여 근사화되어 추론 그래프를 통해 기울기가 흐를 수 있도록 합니다.
• 정책 최적화: 시스템은 규칙에 대한 가중치 행렬 ($W$) 을 학습합니다. 목적은 **행동 복제 (Behavioral Cloning)**입니다: 규칙 활성화에서 유도된 추론된 행동 분포를 기반으로 전문가의 행동에 대한 음의 로그 가능도를 최소화합니다.

주요 기여

1. 새로운 신경 심볼릭 프레임워크: 원시 시각 데이터로부터 직접 모방 학습을 위한 해석 가능한 확률적 논리 규칙을 학습하는 GRAIL 의 개발.
2. 특권 정보 통합: 심볼릭 원자 가치 평가를 변조하기 위해 인간의 시선을 특권 정보로 구체화한 것. 이는 신경 레이어에 시선을 적용한 이전 작업과 구별되며, 여기서 시선은 심볼릭 그라운딩 단계를 안내합니다.
3. 학제 간 종합: 신경 학습, 심볼릭 학습 (귀납적 논리 프로그래밍), 모방 학습, 그리고 조언 기반 학습 (LUPI) 의 개념을 단일 엔드 - 투 - 엔드 학습 가능 시스템으로 통합.
4. 실증적 검증: 프레임워크가 샘플 효율성이 높고 견고한 정책을 학습하며, 훈련 중에는 볼 수 없었던 물체 수를 가진 테스트 시간 시나리오로 일반화되어 순수 신경망 및 순수 심볼릭 베이스라인을 모두 능가함을 입증.

실험 결과

이 프레임워크는 인간 안구 추적 데이터를 포함하는 Atari-HEAD 데이터셋을 사용하여 두 가지 Atari 2600 환경 (Asterix 및 Seaquest) 에서 평가되었습니다.

• 효과성 (Q1): GRAIL 은 두 영역 모두에서 평균 게임 점수가 가장 높았으며, 순수 신경망 베이스라인 (행동 복제, AGIL, BC+Mask) 과 시선 변조가 없는 신경 심볼릭 베이스라인 (NSFR-IL) 보다 현저히 우수한 성과를 보였습니다.
• 샘플 효율성 (Q2): GRAIL 은 훨씬 적은 훈련 샘플로 더 높은 성능 수준에 수렴했습니다. 특히, 데이터의 10% 만으로 훈련된 GRAIL 은 전체 데이터셋으로 훈련된 NSFR-IL 베이스라인보다 우수한 성능을 보였습니다. 저자들은 이를 시선 변조가 정규화제 역할을 하여 모델이 데이터 내의 가짜 상관관계에 적합되는 것을 방지했기 때문이라고 설명합니다.
• 일반화 (Q3): 훈련 중에는 보지 못한 더 많은 수의 개체가 있는 환경에서 테스트했을 때, GRAIL 은 높은 성능을 유지했습니다. 신경망 베이스라인은 훈련된 개체 수를 넘어 일반화에 실패한 반면, GRAIL 의 심볼릭 표현의 관계적 특성은 예측하지 못한 개체 수를 자연스럽게 처리할 수 있게 했습니다.

중요성과 주장

본 논문은 GRAIL 이 효과적이고 효율적이며 일반화 가능한 정책을 학습하기 위해 시선 정보를 특권 정보로 원활하게 통합할 수 있는 최초의 엔드 - 투 - 엔드 신경 심볼릭 프레임워크라고 주장합니다.

• 견고성: 시선을 사용하여 심볼릭 원자를 필터링함으로써, 시스템은 모방 학습에서 흔히 발생하는 "공변량 이동 (covariate shift)" 문제를 해결하고 관련 없는 배경 특징에 기반한 정책을 학습하는 것을 방지합니다.
• 해석 가능성: 신경망 정책과 달리, 결과적인 정책은 가중치가 부여된 논리 규칙 집합입니다. 가중치 자체는 의사 결정 과정에 대한 설명을 제공합니다 (예: 특정 행동에 가장 중요한 규칙은 무엇인지).
• 모듈성: 이 프레임워크는 "플러그 앤 플레이"로 설명되며, 미분 가능한 학습기, 다양한 지각 모듈, 그리고 시선으로 제한되지 않는 다양한 형태의 특권 정보를 통합할 수 있습니다.

저자들은 고전적인 AI 개념 (신경, 심볼릭, 조언 기반) 을 결합함으로써 전통적인 심볼릭 방법이 어려움을 겪고 순수 신경망 방법이 견고성이 부족한 복잡하고 역동적인 환경으로 일반화할 수 있을 뿐만 아니라 투명하고 성능이 우수한 모델을 얻을 수 있다고 결론지었습니다.