Data-driven Machine Learning Cannot Reach Symbolic-level Logical Reasoning -- The Limit of the Scaling Law

기술 요약: 데이터 기반 머신러닝은 기호 수준의 논리적 추론에 도달할 수 없다 – 스케일링 법칙의 한계

문제 제로 (Problem Statement)
본 논문은 데이터 기반 머신러닝의 근본적인 질문을 다룬다: 지도 학습 시스템이 오직 훈련 데이터와 계산 시간의 확장을 통해서만 기호 수준의 논리적 추론(구체적으로 아리스토텔레스의 삼단논법)의 엄밀함에 도달할 수 있는가? 최근 거대 언어 모델(LLM)과 딥러닝의 발전은 다양한 영역에서 인상적인 능력을 보여주었으나, 엄격한 분포 외(out-of-distribution) 논리 연역을 수행하는 능력은 아직 입증되지 않았다. 저자들은 이러한 데이터 기반 접근 방식과, 훈련 데이터 없이 명시적 모델 구축을 통해 기호 수준의 추론을 달성하는 구형 신경망(Sphere Neural Networks, SphNNs)을 대조하며, 스케일링 법칙이 통계적 패턴 인식과 논리적 필연성 사이의 간극을 메울 수 있는지에 대한 의문을 제기한다.

방법론 (Methodology)
본 논문은 두 가지 주요 지도 삼단논법 패러다임을 조사하기 위해 이론적 분석과 경험적 실험을 결합하여 사용한다:

1. 이미지 입력 지도 학습: 저자들은 오일러 다이어그램을 사용하여 삼단논법 추론을 이미지 인식 문제로 취급하는 합성곱 딥러닝 네트워크인 "Euler Net"을 분석한다. 이를 자동화된 시스템인 "Super Euler Net(SupEN)"으로 확장하여, 추론 오류를 식출하고 수정하기 위해 새로운 훈련 데이터를 생성할 수 있도록 하였다.
2. 기호 입력 지도 학습 (LLMs): 본 연구는 최신 세대의 OpenAI 모델(GPT-5 및 GPT-5-nano)을 삼단논법 추론 과업에 대해 평가한다.
3. 실험 설계:
   • 데이터 고갈 테스트 (Data Exhaustion Tests): 훈련 데이터를 늘리는 것이 24가지의 모든 유효한 아리스토텔레스 삼단논법 형식을 구별하거나, "의도하지 않은" 입력(예: 부분적인 원)을 모두 소거할 수 있는지 확인하기 위해 실험을 수행하였다.
   • 표면 형태 변이 (Surface Form Variations): LLM을 네 가지 표면 어휘 패턴(의미 있는 단어, 이중 단어, 단순 기호, 긴 무작위 기호)에 대해 테스트하였다.
   • 평가 지표: 표준적인 결정 정확도를 넘어, 저자들은 기호 수준의 추론을 위한 더 엄격한 지표를 도입하였다: 즉, 올바른 결정과 올바른 근거 제시(justification)를 모두 요구하는 것이다.

주요 기여 및 결과 (Key Contributions and Findings)

• 방법론적 장애물 1: 훈련 데이터를 통한 유효 형식의 구별 불가능성
  저자들은 훈련 데이터만으로는 아리스토텔레스 삼단논법의 24가지 유효한 형식을 모두 구별할 수 없음을 입증하였다. Euler Net과 같은 이미지 기반 시스템에서 조합 테이블은 집합 관계에 기초하여 전제로부터 결론을 매핑한다. 그러나 서로 다른 유효한 삼단논법(예: Barbara와 Barbari)은 동일한 전제 구성을 공유하면서도 서로 다른 결론을 요구할 수 있다. 이러한 입력에 대한 통계적 학습은 유효한 유형에 따라 50%에서 100% 사이의 성능 범위를 보이며, 결정론적 논리에 필요한 확정성을 달취하는 데 실패한다.

• 방법론적 장애물 2. 엔드 투 엔드(End-to-End) 학습에서의 모순된 목표
  본 논문은 엔드 투 엔드 지도 학습 구조에서의 근본적인 충돌을 식별한다. 패턴 인식 구성 요소(예: Siamese 네트워크)는 부분으로부터 전체를 인식하도록 훈련되는 반(컴퓨터 비전에서 바람직한 특징임)면, 논리적 추론 구성 요소는 새로운 객체를 "환각(hallucinating)"하지 않고 전제에 존재하는 정보만을 엄격히 준수해야 한다. 저자들은 이미지 입력 네트워크가 패턴 인식을 만족시키기 위해 부분적인 입력(예: 반원으로부터 완전한 원을 추론)을 "완성"하려는 경향이 있으며, 이로 인해 추론 구성 요소가 감지하거나 수정할 수 없는 논리적으로 유효하지 않은 결론을 도출한다는 것을 보여준다.

• 스케일링 및 일반화에 대한 경험적 결과

  • SupEN 실험: 새로운 훈련 데이터를 생성하고 재학습하는 자동화 루프를 적용했음에도 불구하고, SupEN의 무작위 생성 테스트 데이터에 대한 정확도는 약 97.8%에서 정체되었으며, 24가지 유효 유형을 모두 포함하는 데이터셋에서는 전체 정확도가 76%에 그쳤다. 결정적으로, 이 시스템은 의도하지 않은 입력을 모두 소거할 수 없었다. 하나의 의도하지 않은 입력 유형을 커버하기 위해 새로운 훈련 데이터를 생성하면, 필연적으로 또 다른 학습되지 않은 의도하지 않은 패턴이 생성되었다.
  • LLM 실험: GPT-5와 GPT-5-nano는 벤치마크에서 거의 완벽한 결정 정확도(최대 100%)를 달지만, 빈번하게 틀리거나 일관성 없는 설명을 생성했다. 예를 들어, GPT-5는 긴 무작위 기호에 대해 100%의 결정 정확도를 달성했으나, 그 올바른 결정 중 25%에 대해 잘못된 근거를 제시했다. 저자들은 경험적 훈련이 일반적으로 결정 정확도가 극대화되는 시점에서 종료되기 때문에, 근본적인 추론 결함을 수정하라는 압력이 제거된다고 주장한다.

• 잠재 특징 분석 (Latent Feature Analysis): 실험 결과, Euler Net이 반드시 추상적인 기하학적 관계를 학습하는 것은 아님이 드러났다. 입력 원의 색상을 변경했을 때 정확도가 급격히 하락(8.1%로 감소)했는데, 이는 네트워크가 추상적인 공간 논리가 아닌 특정 픽셀 수준의 상관관계에 의존하고 있음을 시사한다.

의의 및 주장 (Significance and Claims)
본 논문은 지도 학습 시스템이, 기호 또는 이미지 기반 입력을 사용하여 훈련되더라도, 스케일링만으로는 아리스토텔레스의 기호적 추론의 엄밀함을 보장받을 수 없다고 주장한다. 저자들은 "스케일링 법칙"에 근본적인 경계가 있다고 상정한다: 즉, 데이터와 계산량을 늘리는 것이 통계적 규칙성이 논리적 필연성을 포착하지 못하는 방법론적 결함을 해결할 수는 없다는 것이다.

본 연구의 의의는 데이터 기반 추론의 "근본적인 경계"를 식별했다는 점에 있다. 이는 정교한 논리적 추론을 달성하기 위해서는 순수하게 통계적 학습과 훈련 데이터의 패러다임을 넘어, 더 많은 데이터가 무한한 논리적 능력을 가져다줄 것이라는 가정에 의존하지 않는 명시적 모델 구축이나 하이브리드 접근 방식(SphNNs와 같은)이 필요할 수 있음을 시사한다. 본 논문은 패턴 인식과 논리적 연역 사이의 충돌을 해결하지 않는 한, 지도 학습 시스템은 특히 분포 외(out-of-distribution) 입력에 대해 자신의 추론 과정의 정당성을 보장할 수 없는 상태로 남을 것이라고 결론짓는다.