Feature, Alignment, and Supervision in Category Learning: A Comparative Approach with Children and Neural Networks

기술 요약: 범주 학습에서의 특징, 정렬 및 감독

문제 정의
인지 과학과 머신러닝의 핵심 과제는 인간과 기계가 희소한 데이터로부터 어떻게 학습하는지를 이해하는 것이다. 인간, 특히 영유아는 원샷(one-shot) 또는 퓨샷(few-shot) 학습에서 놀라운 효율성을 보여주는 반면, 머신러닝 알고리즘은 일반적으로 이보다 수십 배 더 많은 데이터를 필요로 한다. 심층 신경망(DNN)은 지도 학습 및 자기 지도 학습 체제에서 성공을 거두었으나, 이들의 학습 전략과 귀납적 편향(inductive biases)이 인간의 인지와 일치하는지는 여전히 불분명하다. 기존 문헌은 대개 교차 연구 비교나 느슨하게 매칭된 과제에 의존해 왔으며, 이는 각 시스템의 성공 또는 실패의 구체적인 원인을 분리해 내는 것을 어렵게 만든다. 본 연구는 인간에게는 인간다운 제약을, 기계에는 기계다운 제약을 가하는 "종 특이적 공정성(species-fair)" 비교를 통해, 감독(supervision), 특징 구조(feature structure), 그리고 지각적 정렬(perceptual alignment)이 아동과 합성곱 신경망(CNN)의 범주 학습을 지원하기 위해 어떻게 상호작용하는지 규명하고자 한다.

연구 방법론
본 연구는 5~7세 아동($N=24$)과 Siamese ResNet-18 구조를 비교하는 통제된 종 특이적 공정 준지도 학습 프레임워크를 채택하였다.

• 과제 설계: 두 학습자 모두 세 가지 뚜렷한 특징 차원인 크기(size), 모양(shape), 또는 **패턴(pattern)**으로 정의된 새로운 객체 범주에 노출되었다.
• 변수: 본 연구는 다음 세 가지 요인을 체계적으로 조작하였다:
  1. 감독 수준(Supervision Level): 제공된 레이블이 있는 표본(exemplar)의 수 (1/6, 3/6, 또는 6/6).
  2. 지각적 정렬(Perceptual Alignment): 고정렬(High alignment) 대 저정렬(Low alignment). 고정렬 조건에서는 쌍을 이루는 표본들이 타겟 차원을 제외한 모든 특징을 공유하여 명확한 구조적 대응을 용이하게 했다. 저정렬 조건에서는 표본들이 여러 차원에서 변동하여 불변하는 타겟 특징을 모호하게 만들었다.
  3. 특징 구조(Feature Structure): 범주를 정의하는 차원 (크기, 모양, 패턴).
• 인간 실험 절절: 아동들은 다양한 수준의 언어적 감독(예: "이것들은 모두 [범주]이다" 대 "이것만 [범주]이다")과 함께 자극 쌍(동일한 쌍 또는 다른 쌍)을 관찰하였다. 그 후 새로운 자극을 분류하는 능력을 테스트받았다.
• 기계 실험 절절: 공유된 ResNet-18 인코더를 가진 Siamese 네트워크가 다중 목적 손실 함수(multi-objective loss function)를 사용하여 학습되었다. 이는 지도 학습 시도(객체 여부 예측)를 위한 이진 교차 엔트로피와, 지도 및 비지도 쌍 모두에 적용되는 대조 손실(contrastive loss, 동일 클래스 임베딩은 가깝게, 다른 클래스 임베딩은 멀게 함)을 결합하였다. 네트워크는 인간 연구의 균형 설계를 맞추기 위해 20개의 무작위 시드에 걸쳐 200 에포크 동안 학습되었다.

주요 결과
연구 결과, 아동과 CNN 사이에는 감독, 정렬, 특징 유형 간의 뚜렷한 상호작용을 특징으로 하는 서로 다른 학습 프로파일이 드러났다.

1. 지각적 정렬에 대한 민감도:

   • 아동: 성능은 정렬에 매우 민감했다. 아동은 고정렬 조건에서 유의미하게 높은 정확도를 보였다. 결정적으로, 정렬은 특징 유형과 상호작용했다. 저정렬은 크기 기반 및 패턴 기반 범주의 학습을 심각하게 저해했으나, 모양 기반 범주에는 미미한 영향을 미쳤는데, 이는 견고한 "모양 편향(shape bias)"을 반영한다.
   • CNN: 정렬의 주효과는 약했으며 그 자체로는 통계적으로 유의미하지 않았다. 그러나 정렬은 감독 및 특징 유형과 상호작용했다. 모양 기반 범주의 경우, 고정렬 상태에서는 감독이 성능을 유의미하게 향상시켰으나, 저정렬 상태에서는 추가적인 감독이 효과가 없었다. 반대로, CNN은 크기 및 패턴 범주에 대해서는 정렬에 거의 무감각했다.

2. 특징 구조 편향:

   • 아동: 모양을 선호하는 강한 경향을 보이며 크기 및 패턴보다 높은 성과를 냈다. 크기는 가장 어려운 특징이었으며, 특히 저정렬 조건에서는 성능이 우연 수준(chance levels)에 근접했다.
   • CNN: 이와 반대되는 패턴을 보였다. 모양이 네트워크에서 가장 어려운 특징이었던 반면, 크기와 패턴은 높은 정확도로 학습되었으며, 최소한의 감독만으로도 종종 천장 성능(ceiling performance)에 도달했다. 이는 CNN이 추상적인 모양 표현보다 질감 기반 단서(texture-based cues)를 선호한다는 기존 연구 결과와 일치한다.

3. 감독의 역할:

   • 아동: 최적의 조건(고정렬, 모양 특징)이 충족되면 추가적인 레이블 표본으로부터 얻는 수익 체감(diminishing returns)을 보였다. 이들의 학습은 레이블의 양보다는 지각적 구조의 질에 의해 주도되었다.
   • CNN: 모든 조건에서 감독이 증가함에 따라 성능이 단조롭게 향고되었다. 추가 레이블의 이점은 고정렬 상태의 모양 기반 범주에서 가장 두드러졌다.

4. 상호작용 효과:

   • 연구는 학습에 미치는 감독의 영향이 균일하지 않으며, 특징 유형과 정렬의 상호작용에 의해 결정된다는 것을 발견했다. CNN의 경우, 표본이 지각적 일관성(저정렬)을 결여했을 때 모양 범주를 학습하는 데 있어 감독의 효과가 떨어졌다.

의의 및 주장
저자들은 본 연구가 단순히 전체 정확도 지표를 넘어 학습의 메커니즘을 분석함으로써, 준지도 학습 체제에서 아동과 CNN의 학습을 비교한 첫 번째 통제된 비교 연구라고 주장한다.

• 종 특이적 공정 비교: 결과는 인간-모델 비교가 특정하고 원칙적인 조건 하에서 이루어져야 함을 입증한다. 외견상의 유사성이나 차이점은 총체적 정확도가 아니라 감독, 타겟 특징, 그리고 지각적 정렬 사이의 상호작용에 따라 달라진다.
• 귀납적 편향: 두 시스템 모두 편향(예: 아동의 모양 편향, CNN의 질감/크기 편향)을 습득할 수 있지만, 이러한 편향이 다른 학습 제약과 상호작용하는 방식은 근본적으로 다르다. 아동은 관계적 구조를 추출하기 위해 지각적 정렬에 의존하는 반면, CNN은 전역적 공간 대응이 무너진 상황에서도 유효한 국소적 특징 통계에 의존한다.
• 모델 평가: 본 논문은 계산 모델을 단순히 인간 수준의 정확도 달성 여부로만 평가하는 것은 오도될 수 있다고 주장한다. 더 정보가 풍부한 접근 방식은 모델이 원칙적인 조작을 통해 인간과 동일한 트레이드오프(tradeoffs) 및 상호작용 패턴을 재현하는지 평가하는 것이다. 이는 두 학습자가 동일한 이유로 성공하는지, 아니면 서로 다른 이유로 성공하는지를 밝혀내며, 생물학적 및 인공 시스템 모두에서 효율적인 일반화를 이끄는 귀납적 편향에 대한 더 깊은 이해을 제공한다.