기술 요약: 게임 오브 히든 룰(Game of Hidden Rules)에서의 AI 학습 및 개념 전이

1. 문제 정의

본 연구는 게임 오브 히든 룰(GOHR) 내의 잠재적 규칙 학습(latent rule learning) 문제를 다룬다. 이 환경에서 에이전트는 각 행동 후 주어지는 희소한 이진 피드백(수락/거절)만을 바탕으로, 객체를 버킷에 할당하는 데 관여하는 미지의 규칙을 추론해야 한다. 이 환경은 부분적으로 관측 가능한 상태이며, 에이전트는 규칙을 직접 보지 못하고 시행착오 기반의 상호작용을 통해 이를 연역해야 한다.

핵심 연구 질문은 다음과 같다:

• 상태 표현(특징 중심 vs. 객체 중심)이 학습 성능, 일반화 및 전이에 어떻게 영향을 미치는가?
• 규칙의 구조적 속성(예: 특징 매핑, 공간적 순서, 조건부 의존성) 중 무엇이 학습 난이도에 가장 크게 기여하는가?
• 구조적으로 연관된 규칙 간에 **개념적 전이(conceptual transfer)**가 발생하는가, 그리고 이 전이 기하학(transfer geometry)은 어떻게 구성되는가?
• 강화 학습(RL) 에이전트가 인간 학습자와 유사한 행동 패턴을 보이는가?

2. 방법론

2.1 환경 및 태스크

GOHR 환경은 4개의 코너 버킷이 있는 $6 \times 6$ 그리드와 모양 및 색상으로 정의된 9개의 객체로 구성된다. 에이전트는 객체를 선택하여 버킷에 할당한다. 숨겨진 규칙은 유효성을 결정한다. 피드백은 희소하다: 동작은 수락되거나(보상 0), 거부되거나 이동 불가능하게 된다(보상 -1). 모든 객체가 올바르게 배치되거나 더 이상 움직일 수 있는 수단이 없을 때 에피소드가 종료된다.

2.2 상태 표현

본 연구는 두 가지 뚜렷한 상태 인코딩을 비교한다:

1. 특징 중심 (Feature-Centric, FC): 보드는 격자 위치에서의 모양 및 색상 활성화를 나타내는 공간 특징 맵($6 \times 6 \times 8$ 채널)으로 인코딩된다. 모델은 공간적 정렬을 통해 특징과 버킷 사이의 연관성을 추론해야 한다.
2. 객체 중심 (Object-Centric, OC): 각 객체는 색상, 모양, 위치($x, y$)에 대한 원-핫 인코딩을 포함하는 명시적인 벡터로 표현된다. 이 표현은 속성을 특정 객체에 결합함으로써, 모델이 공간 패턴으로부터 객체의 정체성을 추론할 필요를 줄여준다.

두 표현 모두 규칙 추론을 돕기 위해 현재 상태와 최근 6개의 성공적인 상태를 포함하는 **시계열 이력(temporal history)**을 통합한다.

2.3 아키텍처 및 알고리즘

에이전트는 트랜스포머 기반 액터-크리틱(Transformer-based Actor-Critic, A2C) 아키텍처를 사용한다:

• 인코더(Encoder): 멀티 헤드 셀프 어텐션을 사용하여 특징, 객체, 행동 간의 의존성을 포착하기 위해 상태 이력 시퀀스를 처리한다.
• 헤드(Heads): 액터 헤드는 행동 확률을 출력하며(유효한 움직임으로 마스킹됨), 크리틱 헤드는 가치 함수를 추정한다.
• 학습: 모델은 엔트로피 정규화와 $\epsilon$-greedy 탐색 전략을 사용하는 Advantage Actor-Critic으로 학습된다. 할인 계수($\gamma$)는 희소한 음의 보상 구조를 반영하여 장기 보상보다 즉각적인 오류 최소화를 우선시하도록 매우 낮게($\gamma = 0.001$) 설정되었다.

2.4 평가 지표

성능은 세 가지 수렴 지표를 사용하여 측정된다:

• $M^\star$: 동작 기반 수렴 (첫 번째 동작 이후 고정된 윈도우 내의 모든 동작이 성공하는 시점).
• $E^\star_{mean}$: 평균 윈도우 수렴 (슬라이딩 윈도우 내의 평균 오류율이 임계값 아래로 떨어지는 가장 빠른 에피소드).
• $E^\star_{max}$: 최대 윈도우 수렴 (슬라이딩 윈도우 내에 오류가 없음을 보장하는 더 엄격한 지표).

3. 주요 기여

본 논문은 다음과 같은 기여를 한다:

1. 표현 비교: 객체 중심(OC)과 특징 중심(FC) 표현을 체계적으로 비교하여, OC가 일반적으로 더 안정적이고 해석 가능한 학습 행동을 생성함을 입증한다.
2. 규칙 난이도 분석: 개념적 속성(예: 특징 매핑 vs. 순서 vs. 조건부)에 기반한 규칙 난이도를 규명하여, 추상화 수준과 구성적 복잡성이 높을수록 학습 난이도가 증가함을 밝힌다.
3. 전이 학습 기하학: 단순-대-단순 및 복합 규칙 전이에 대한 광범로한 실험을 통해, 전이의 성공 여부가 선행 규칙과 대상 규칙 사이의 **구조적 정렬(structural alignment)**에 크게 의존함을 밝힌다.
4. 기하학적 분석: 계층적 클러스터링, 다차원 척도법(MDS), 탠글레그램(tanglegram)을 적용하여 "전이의 기하학"을 시각화함으로써, OC가 구조적으로 연관된 규칙들을 일관된 클러스터로 형성하는 반면 FC는 더 분산된 조직을 보임을 보여준다.
5. 인간 학습 모델링: 마르코프/백오프 모델을 사용한 의사 봇 지원 인간 학습 분석을 개발하여, 시간적 결과 패턴을 기반으로 게임 플레이 시퀀스를 지원형 또는 비지원형으로 분류한다.
6. 소프트웨어 구현: GOHR 환경의 Gymnasium 호환 리팩토링을 수행한다 (단, 논문에서는 성공적인 학습을 위해 레거시 이력 증강 관찰이 필요했음을 언급한다).

4. 주요 결과

4.1 학습 난이도 및 표현

• FC 모델: 위치적 속성(사분면 매핑, 근접성)을 가장 쉽게 학습하지만, 추상적인 특징 순서나 조건부 규칙에는 어려움을 겪는다. 이는 체크포인트와 위치적 휴리스틱에 높은 민감도를 보인다.
• OC 모델: 특징 기반 매핑과 버킷 순서를 더 효과적으로 학습한다. 복잡한 조건부 규칙에는 어려움을 겪지만, FC에 비해 규칙 유형 간의 난이도 격차가 작다. OC는 다양한 규칙 패밀리에 대해 더 일관된 학습 곡선을 보여준다.
• 일반화:
  • FC: 분포 외(OOD) 보드 위치에 대한 일반화 능력이 낮으며, 이는 추상적 규칙보다는 암기된 공간 템플릿에 의존함을 시사한다.
  • OC: 장면 카디널리티 증가(9개 객체 대비 16개 객체)에 대해 더 나은 일반화 성능을 보이지만, 더 큰 집합에 대한 복잡한 관계적 추론이 필요한 규칙에서는 성능이 저하된다.

4.2 전이 학습

• 단순-대-단순 전이: OC는 규칙 패밀리 내에서 강력하고 의미론적으로 구조화된 전이를 보인다 (예: 버킷 순서 규칙은 서로 잘 전이됨). FC의 전이는 불안정하며 종종 체크포인트에 따라 달라진다.
• 복합 전이: 복합 규칙(예: 읽기 순서와 근접성을 결-합)에 대해 학습할 때, 실제 구성 요소 규칙에서 사전 학습을 수행하면 OC의 경우 엄청난 양의 긍정적 전이(최대 5배 빠른 수렴)를 얻을 수 있다. FC는 약한 전이 이득을 보인다.
• 부정적 전이: OC는 구조적 불일치에 매우 민다. 관련 없는 규칙에서 사전 학습을 하는 것은 심각한 부정적 전이(처음부터 학습하는 것보다 느린 수렴)를 초래할 수 있다. FC는 부정적 전이에 덜 민감하지만, 긍정적 전이 능력 또한 낮다.

4.3 전이 기하학

• OC: 클러스터링 및 MDS 분석 결과, OC는 구조적 유사성에 기초하여 규칙들을 일관된 기하학적 클러스터로 조직한다. 선행 규칙의 영향과 후속 규칙의 민감도는 높은 상관관계(Adjusted Rand Index = 0.633)를 보이며, 이는 자기 일관적인 전이 기하학을 나타낸다.
• FC: 선행 및 후속 조직 간의 정렬이 약하다 (Adjusted Rand Index = 0.168). 전이 기하학이 분산되어 있으며, cw(시계 방향 버킷 순서)와 같은 규칙은 다른 순서 규칙들과 개념적 유사성에도 불구하고 이상치로 작사한다.

4.4 인간 학습 분석

• 결과 시퀀스(수락/거절)를 학습한 마르코프/백오프 모델은 인간 단독 플레이와 봇 지원 플레이를 성공적으로 구분하였다.
• 이 모델은 빠른 학습 봇 설정(ph4)에서 최대 93.5%의 정확도를 달 기록하였으며, 이는 명시적인 보드 상태 정보 없이도 성공과 실패의 시간적 패턴 속에 식별 가능한 지원의 시그니처가 존재함을 입증한다.

5. 의의 및 주장

본 논문은 **명시적인 객체 수준 표현(OC)**이 공간적 특징 맵(FC)보다 숨겨진 관계적 규칙을 학습하는 데 우월하다고 주장한다. 저자들은 OC가 재사용 가능한 관계적 추상화의 형성을 촉진하여, 더욱 체계적이고 일관된 전이 학습을 가능하게 한다고 논한다.

핵심 요약은 다음과 같다:

• 구조적 정렬이 핵심이다: 숨겨진 규칙 환경에서의 성공적인 전이는 단순히 의미론적 유사성이 아니라, 태스크 간의 구조적 정렬에 달려 있다.
• 표현이 기하학을 결정한다: 상태 표현의 선택은 학습 공간의 "기하학"을 근본적으로 결정한다. OC는 관련 개념들이 클러스터링되는 구조화된 지형을 만드는 반면, FC는 더 혼란스럽고 위치 의존적인 지형을 만든다.
• 인간-AI 유사성: 분석 결과, 인간과 AI 학습자 모두 규칙 복잡성(순서/조건부가 매핑보다 어려움)에 유사한 민감도를 보이며, 단순한 확률 모델이 학습 지원의 행동적 시그니처를 포착할 수 있음을 시사한다.

저자들은 자신의 연구가 **탐색적(exploratory)**임을 인정하며, 많은 통계적 비교로 인해 확정적인 신뢰 수준을 주장하는 데에는 한계가 있음을 밝히는 신중한 어조를 유지한다. 이들은 본 연구를 관계적 추론 및 커리큘럼 학습을 위한 원칙적인 탐구를 향한, "규칙과 개념의 기하학"을 정의하기 위한 단계로 포지셔닝한다.