기술적 요약: 관계적 일반화와 암기 간 균형을 위한 수학적 이론

문제 제기

인간, 동물, 기계 학습 모델을 포함한 학습 시스템은 관계적 일반화를 가능하게 하는 일반 규칙을 동시에 학습하고, 이러한 규칙에 대한 구체적인 예외를 암기해야 합니다. 구성적 일반화와 암기에 관한 방대한 문헌이 존재하지만, 두 가지 요구 사항이 모두 필요할 때 시스템이 이러한 상반된 요구를 어떻게 균형 있게 처리하는지 이해하기 위한 작업 패러다임과 이론적 프레임워크는 부족합니다. 구체적으로, 학습 시스템이 대체로 추이적이지만 비추이적 예외를 포함하는 순서 관계를 어떻게 처리하는지 (예: $A > B > C$이지만 예외인 $C > A$) 여전히 불분명합니다. 전이 추론 (Transitive Inference, TI) 과 같은 기존 패러다임은 순수한 일반화를 테스트하고, 횡단 패턴화 (Transverse Patterning, TP) 는 비추이적 루프의 순수한 암기를 테스트하지만, 규칙과 예외가 공존하는 실제 세계 시나리오의 복잡성을 포착하지는 못합니다.

방법론

저자들은 이 균형을 분석하기 위한 새로운 작업 패러다임과 이론적 프레임워크를 제시합니다:

1. 작업 패러다임: 예외가 있는 전이 추론 (TIwE)

   • 이 작업은 내재적 추이적 순위가 있는 일련의 항목 $I_1, \dots, I_n$을 포함합니다.
   • "예외"가 도입됩니다: $p > q$인 비추이적 쌍 $I_p > I_q$ (전체 순위를 위반) 이며 $|p-q| > 1$입니다.
   • 이로 인해 비추이적 섹션 ($L$) 으로 분리된 두 개의 추이적 섹션 ($O^{(1)}$ 및 $O^{(2)}$) 이 생성됩니다.
   • 평가는 네 가지 지표에 초점을 맞춥니다: 추이적 쌍의 암기, 비추이적 쌍의 암기, 섹션 내 일반화, 그리고 섹션 간 일반화 (예: 중간에 있는 예외에도 불구하고 $I_1 > I_n$을 추론).

2. 이론적 모델: 커널 릿지 회귀

   • 저자들은 무한 폭 극한에서 커널 릿지 회귀로 수렴하는 무작위 특징 모델 $\phi(x) = \sigma(Wx)$를 분석합니다.
   • 커널 $K(x, x')$가 항목 간의 중첩 (동일, 중첩, 또는 서로 다른 쌍) 에만 의존하는 **교환 가능 표현 (exchangeable representation)**을 가정하며, 이는 매개변수 $\kappa_s, \kappa_o, \kappa_d$로 공식화됩니다.
   • 이 모델은 두 가지 주요 매개변수로 특징지어집니다:
     • 결합성 계수 ($\alpha$): 표현 내 항목 간의 비선형 얽힘 정도를 측정합니다 ($\alpha=0$은 완전히 구성적/가산적; $\alpha=1$은 완전히 결합적).
     • 유효 정규화 ($\tilde{c}$): $L_2$ 정규화 강도를 스케일링합니다.

3. 분석적 유도

   • 저자들은 모델의 예측을 유도하기 위해 릿지 회귀 쌍대 문제를 분석적으로 풉니다.
   • 그들은 해를 생성된 **순위 시스템 ($r_j$)**과 훈련 데이터에서만 활성화되는 **결합 응답 ($t_{j,k}$)**으로 분해합니다.
   • 순위 시스템은 예외의 존재로 인해 수정된 표준 TI 순위 시스템의 변형임이 입증됩니다.

주요 기여 및 결과

1. 균형에 대한 이론적 특성화

이 논문은 커널 모델이 순위 시스템과 결합형 판독 간의 절충을 통해 일반화와 암기를 자연스럽게 균형 잡는다는 폐쇄형 해 (정리 1) 를 유도합니다:

• 일반화: 모델은 추이적 섹션 내에서 단조 감소하는 순위 시스템 $r_j$를 학습합니다. 그러나 예외의 존재는 비추이적 루프 주변에서 순위 시스템에 비단조성을 도입합니다.
• 암기: 모델은 훈련 세트의 오류를 수정하고 특히 예외를 암기하기 위해 결합 항 $t_{j,k}$를 사용합니다.
• 절충: 성공적인 일반화 (특히 섹션 간 일반화) 와 성공적인 암기는 긴장 관계에 있습니다.
  • 표현 기하학 ($\alpha$): 더 구성적인 표현 (낮은 $\alpha$) 은 일반화를 선호하지만 예외를 암기하는 데 어려움을 겪습니다. 더 결합적인 표현 (높은 $\alpha$) 은 예외를 쉽게 암기하지만 순위 시스템의 비단조성으로 인해 섹션 간 일반화에 실패할 수 있습니다.
  • 정규화 ($\tilde{c}$): 더 강한 정규화 (더 작은 $\tilde{c}$) 는 가중치 노름을 최소화하기 위해 모델이 순위 시스템에 더 의존하도록 강제하여 일반화에서의 체계적 오류 (예: $I_{q-1} < I_{p+1}$를 잘못 예측) 를 초래하고 예외에 대한 암기를 감소시킵니다. 반면, 약한 정규화는 더 나은 암기를 허용하지만 과적합의 위험이 있습니다.

2. 실패 모드의 기작적 설명

저자들은 생성된 순위 시스템의 비단조성이 체계적 오류의 근본 원인이라고 설명합니다.

• 가중치 노름 (정규화) 을 최소화하기 위해 모델은 "평탄한" 순위 시스템 (일반화에 유리) 과 "수정된" 순위 시스템 (예외 적합에 필요) 사이에서 타협해야 합니다.
• 이 타협은 예외 근처에서 왜곡된 순위 시스템을 초래하여 섹션 간 일반화 작업으로 오류를 전파합니다.
• 중요한 점은, 일반적으로 분포 내 일반화에 유익한 L2 정규화가 이 특정 작업에서는 분포 외 일반화에 역효과를 일으켜 표준 TI에서는 발생하지 않았을 체계적 오류를 유발한다는 것입니다.

3. 사전 훈련된 언어 모델 (PLM) 에서의 실증적 검증

이론적 통찰력은 스포츠 팀 위계와 포커 핸드 순위로 TIwE 작업을 미세 조정하여 PLM(Llama3.2, Qwen3.5) 을 검증했습니다.

• 일반화: 모델은 섹션 내에서 성공적으로 일반화했지만 섹션 간 일반화에서는 일관되지 않은 성능을 보였으며, 종종 이론이 예측한 체계적 오류 (우연 이하의 정확도) 를 범했습니다.
• 암기: 모델은 예외를 암기할 수 있었지만 성능은 정규화에 민감했습니다. 더 강한 정규화는 예외 쌍의 정확도를 낮췄습니다.
• 작업 매개변수: 추이적 섹션의 길이를 늘리면 섹션 간 일반화가 훨씬 더 어려워졌으며, 비추이적 루프의 길이를 늘리는 것은 더 약한 영향을 미쳤는데, 이는 이론적 예측과 일치합니다.
• 미세 조정 전략: 전체 미세 조정과 선형 프로빙은 일반적으로 LoRA 보다 우수한 성능을 보였으며, 선형 프로빙의 행동은 정규화의 영향과 관련하여 커널 모델 예측과 밀접하게 일치했습니다.

중요성 및 주장

이 논문은 학습 시스템이 관계적 일반화와 예외 암기 간 균형을 어떻게 맞추는지에 대한 최초의 분석적 프레임워크를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

1. 새로운 실패 모드 식별: 규칙과 예외의 균형을 요구하는 작업은 순수 규칙 학습 작업보다 근본적으로 더 어렵다는 것을 보여줍니다. 이는 표현 기하학과 정규화 간의 절충을 도입하여 체계적이고 비무작위적인 오류로 이어질 수 있기 때문입니다.
2. 정규화 재평가: 기존 역할과 반대로, 예외가 있는 구성적 작업에서 분포 외 일반화를 방해할 수 있음을 강조하여 표준 정규화 기술 (L2 등) 을 재평가합니다.
3. 벤치마킹: 생물학적 및 인공 시스템 모두에서 구성적 일반화의 한계를 탐지하기 위해 "예외가 있는 전이 추론"을 새로운 필수 패러다임으로 제안합니다.
4. 이론적 기반: 단순한 커널 모델이 이러한 작업에서 대규모 언어 모델의 미묘한 행동을 포착할 수 있음을 보여줌으로써, PLM 의 예외 처리 한계가 단순한 아키텍처 복잡성이 아니라 학습 역학의 근본적인 기하학적 제약에서 비롯될 수 있음을 시사합니다.

저자들은 예외의 효과를 명시적으로 모델링하는 것이 견고한 실제 세계 추론이 가능한 학습 시스템을 개발하는 데 중요하며, 향후 연구는 이러한 복잡성을 포착하는 작업 패러다임에 초점을 맞춰야 한다고 결론지었습니다.