Symbol-Equivariant Recurrent Reasoning Models

이 논문은 심볼의 순열에 대한 등변성을 아키텍처 수준에서 명시적으로 강제하는 '심볼 등변 순환 추론 모델 (SE-RRM)'을 제안하여, 기존 순환 추론 모델들이 해결하지 못했던 Sudoku 와 ARC-AGI 와 같은 추론 문제에서 뛰어난 일반화 능력과 데이터 효율성을 입증했습니다.

핵심

이 논문은 **"기계가 추리 문제를 더 똑똑하고 효율적으로 풀 수 있게 해주는 새로운 방법"**을 소개합니다.

기존의 인공지능 (AI) 은 수학 문제나 퍼즐을 풀 때, 마치 외국어를 배우는 학생처럼 각 숫자나 색깔을 하나하나 따로 외워야 했습니다. 하지만 이 새로운 모델 (SE-RRM) 은 문법의 규칙을 이해하는 방식을 바꿔, 훨씬 더 똑똑하게 문제를 해결합니다.

이해를 돕기 위해 세 가지 비유로 설명해 드릴게요.

---

1. 문제: "숫자 바꾸기"에 허덕이는 AI

상상해 보세요. **수도쿠 (Sudoku)**라는 숫자 퍼즐을 풀고 있는 AI 가 있습니다.

• 기존 AI 는 "1"이라는 숫자가 나올 때마다 "아, 이건 1 이구나!"라고 외웁니다.
• 그런데 퍼즐을 풀다가 갑자기 "1" 대신 "A"를 사용하거나, "빨간색"을 "파란색"으로 바꿔서 문제를 내면, 기존 AI 는 당황합니다. "1"과 "A"는 같은 역할을 하는데, AI 는 이 둘이 완전히 다른 존재라고 생각해서 다시 처음부터 학습해야 합니다.

이것은 마치 친구들의 이름을 바꿔 부르면 아예 못 알아듣는 사람과 같습니다. "철수"를 "영희"로 불러도 같은 사람인데, 이름만 바뀌면 친구가 누구인지 모르게 되는 거죠. 이렇게 AI 가 불필요하게 많은 데이터 (숫자 조합의 모든 경우의 수) 를 외워야 하므로 학습이 느리고 비효율적입니다.

2. 해결책: "모든 숫자는 동등하다"는 규칙을 심어주다

이 논문에서 제안한 SE-RRM은 AI 의 뇌 구조를 조금만 바꿔줍니다.

• 핵심 아이디어: "숫자 1 이든 2 든, 빨간색이든 파란색이든, 역할만 같으면 모두 똑같은 친구야"라고 가르쳐 주는 것입니다.
• 비유: 이제 AI 는 "철수"를 "영희"로 불러도 "아, 이건 내 친구야!"라고 바로 알아챕니다. 이름 (기호) 이 바뀌어도 역할 (규칙) 이 같으면 해결책도 똑같다는 것을 처음부터 설계 단계에서 알고 있는 것입니다.

이를 통해 AI 는 데이터를 1000 배나 적게 학습해도 같은 퍼즐을 풀 수 있게 됩니다. 마치 모든 언어를 통역할 수 있는 통역사가 아니라, 언어 자체의 문법 구조를 이해하는 사람이 된 것과 같습니다.

3. 놀라운 능력: "작은 퍼즐"을 배워 "거대한 퍼즐"도 풀다

이 모델의 가장 큰 장점은 확장성입니다.

• 기존 AI: 9x9 크기의 수도쿠만 배웠다면, 16x16 이나 25x25 같은 더 큰 퍼즐을 보면 "이건 내가 배운 게 아니야!"라고 포기합니다. (새로운 숫자가 너무 많아서 외울 수가 없기 때문입니다.)
• 새로운 AI (SE-RRM): 9x9 퍼즐에서 "규칙"을 배웠다면, 16x16 이나 25x25 퍼즐도 규칙을 적용해서 풀 수 있습니다.
  • 비유: 3x3 체스판을 배운 사람이 8x8 체스판을 처음 봐도 "말이 어떻게 움직이는지"만 알면 바로 게임을 할 수 있는 것과 같습니다. 크기가 커져도 놀라지 않고, 규칙을 확장해 적용할 줄 압니다.

요약: 왜 이것이 중요한가요?

1. 더 적은 비용: 기존 방식은 모든 경우의 수를 학습시키기 위해 엄청난 양의 데이터를 만들어내야 했지만 (데이터 증강), 이 방식은 규칙을 구조에 심어두어 데이터를 1000 분의 1 수준으로 줄여도 똑같은 성능을 냅니다.
2. 더 넓은 적용: 배운 작은 문제를 바탕으로,从未 (한 번도) 본 거대한 문제나 새로운 기호를 사용하는 문제도 해결할 수 있습니다.
3. 실제 활용: 복잡한 로직, 계획 수립, 진단, 위험 평가 등 현실 세계의 복잡한 문제들을 해결하는 데 훨씬 더 강력하고 안정적인 도구가 될 것입니다.

한 줄 요약:

"이 새로운 AI 는 숫자나 색깔의 이름이 바뀌어도 당황하지 않고, 규칙의 본질을 파악하여 작은 문제에서 배운 지혜로 거대한 문제까지 해결하는 초월적인 추리 능력을 갖게 되었습니다."

기술 요약

1. 문제 정의 (Problem)

• 추론 문제의 난이도: 스도쿠, ARC-AGI(추상 추론 및 일반화) 와 같은 구조화된 추론 문제는 기존 심층 신경망 (DNN) 및 대규모 언어 모델 (LLM) 에게 여전히 큰 도전 과제입니다. 특히 LLM 은 자연어 기반 벤치마크에서는 성과를 보이지만, 엄격한 제약 조건이 있는 구조적 문제 (SAT, 조합 최적화 등) 에서는 성능이 급격히 저하됩니다.
• 기존 RRM 의 한계: 최근 제안된 순환 추론 모델 (Recurrent Reasoning Models, RRMs) 은 HRM(Hierarchical Reasoning Model) 과 TRM(Tiny Recursive Model) 이 대표적입니다. 이들은 고정점 반복 (fixed-point iteration) 을 통해 문제를 단계적으로 해결하는 아키텍처로, LLM 보다 효율적입니다.
  • 그러나 기존 RRMs 은 기호 (Symbol) 의 치환 불변성 (Permutation Equivariance) 을 명시적으로 인코딩하지 못합니다. 스도쿠나 ARC-AGI 에서 숫자나 색상의 라벨이 바뀌더라도 해답의 논리적 구조는 동일해야 하지만, 기존 모델은 이를 학습하기 위해 비용이 많이 드는 데이터 증강 (Data Augmentation) 에 의존합니다.
  • 이로 인해 훈련 효율성이 낮아지고, 훈련 데이터에 없던 새로운 기호 (예: 9x9 스도쿠에서 16x16 스도쿠의 새로운 숫자) 가 등장할 때 외삽 (Extrapolation) 이 불가능해지는 문제가 발생합니다.

2. 방법론 (Methodology)

저자는 기호 동등 순환 추론 모델 (Symbol-Equivariant Recurrent Reasoning Models, SE-RRM) 을 제안합니다. 이는 아키텍처 수준에서 기호의 치환에 대한 동등성 (Equivariance) 을 강제하는 새로운 접근법입니다.

핵심 아이디어 및 아키텍처

1. 3 차원 텐서 표현 도입:
   • 기존 RRM 은 위치 (Position) 와 기호 (Symbol) 를 2 차원 행렬로 표현하고 각 위치에 기호별 임베딩을 부여했습니다.
   • SE-RRM은 위치 (I), 특징 (D), 기호 (K) 를 연결하는 3 차원 텐서를 도입합니다. 모든 기호에 대해 동일한 임베딩 벡터를 공유하며, 특정 기호가 위치에 존재하지 않으면 0 벡터를 사용합니다.
2. 기호 동등성 (Symbol Equivariance) 보장:
   • Axial Attention 활용: 트랜스포머 블록 내에서 두 가지 자기 주의 (Self-Attention) 레이어를 직렬로 적용합니다.
     • 첫 번째 레이어: 위치 차원 (Position Dimension) 을 따라 주의 메커니즘 적용.
     • 두 번째 레이어: 기호 차원 (Symbol Dimension) 을 따라 주의 메커니즘 적용.
   • 이 구조는 입력 기호의 순서가 바뀌더라도 (예: 스도쿠에서 '1'과 '2'를 서로 바꾸는 경우) 모델의 출력도 동일한 방식으로 변환되도록 보장합니다.
3. 학습 및 추론:
   • Deep Supervision: 각 반복 단계에서 중간 예측에 대해 감독 신호를 적용하여 학습합니다.
   • 데이터 증강 최소화: 기호의 대칭성을 아키텍처가 내장하고 있으므로, 기존 RRMs 에 비해 훨씬 적은 데이터 증강 (ARC-AGI 의 경우 1000 개에서 8 개로 감소) 으로도 우수한 성능을 냅니다.
   • 외삽 능력: 훈련 시 보지 못한 새로운 기호 (예: 16x16 스도쿠의 '10'~'16') 가 테스트 시에 등장하더라도, 해당 기호에 대한 임베딩을 동적으로 생성하여 처리할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. SE-RRM 아키텍처 제안: 스도쿠의 숫자나 ARC-AGI 의 색상과 같은 동등한 기호들의 치환에 대해 명시적으로 동등한 (Equivariant) 순환 추론 모델을 최초로 제안했습니다.
2. 데이터 증강 의존성 감소: 기호 동등성을 아키텍처 수준에서 해결함으로써, 기존 모델들이 필요로 했던 방대한 데이터 증강 없이도 더 적은 파라미터 (200 만 개) 로 더 높은 성능을 달성했습니다.
3. 외삽 (Extrapolation) 능력 입증: 훈련 데이터의 크기 (9x9) 와 다른 더 작은 (4x4) 또는 더 큰 (16x16, 25x25) 스도쿠 퍼즐에 대해 기존 RRMs 이 실패한 반면, SE-RRM 은 성공적으로 일반화 및 외삽이 가능함을 증명했습니다.
4. 성능 및 효율성: ARC-AGI 와 스도쿠 벤치마크에서 기존 최첨단 모델 (HRM, TRM) 을 능가하거나 경쟁력 있는 성능을 보이면서, 모델 크기는 훨씬 작게 유지했습니다.

4. 실험 결과 (Results)

스도쿠 (Sudoku)

• 9x9 (훈련 조건): SE-RRM 은 HRM 과 TRM 보다 완전히 해결된 비율 (FSR) 에서 11% 이상, 그리드 포인트 정확도 (GPA) 에서 7% 이상 우위를 보였습니다.
• 4x4 (작은 크기): HRM 과 TRM 은 0% 성능을 보이며 규칙을 학습하지 못했으나, SE-RRM 은 95.46% FSR을 기록하여 규칙을 성공적으로 외삽했습니다.
• 16x16 및 25x25 (큰 크기): 기존 모델은 새로운 기호 처리 불가로 실패했으나, SE-RRM 은 16x16 에서 51.95%, 25x25 에서 31.49% 의 정확도를 보여 무작위 추측보다 훨씬 뛰어난 일반화 능력을 입증했습니다.
• 테스트 시간 스케일링: 추론 단계의 반복 횟수를 늘리면 성능이 지속적으로 향상되어, 128 단계에서 98.84% 의 FSR 을 달성했습니다.

ARC-AGI

• ARC-AGI-1 및 ARC-AGI-2: SE-RRM 은 HRM 보다 우수한 성능을 보였으며, TRM 과 유사한 수준의 성능을 달성했습니다.
• 데이터 효율성: HRM 과 TRM 이 1000 개 이상의 색상 증강을 사용한 반면, SE-RRM 은 8 개의 이면체 (dihedral) 증강만 사용하여 동등하거나 더 나은 결과를 얻었습니다.

미로 (Maze)

• 기호 동등성이 필요 없는 미로 문제에서도 SE-RRM 은 TRM 보다 약간 더 나은 성능을 보였으며, 이 모델이 기호 동등성이 필수적이지 않은 문제에도 적용 가능함을 입증했습니다.

5. 의의 및 결론 (Significance)

• 구조적 추론의 새로운 패러다임: SE-RRM 은 신경망이 추론 문제를 해결할 때, 데이터 증강에 의존하기보다 아키텍처 자체에 도메인 지식 (기호의 대칭성) 을 주입함으로써 효율성과 견고성을 동시에 달성할 수 있음을 보여줍니다.
• 확장성: 훈련되지 않은 새로운 기호나 더 큰 문제 크기로의 외삽이 가능하여, 실제 세계의 다양한 제약 조건 만족 문제 (Constraint Satisfaction Problems) 에 적용 가능성이 높습니다.
• 효율성: LLM 기반 접근법이나 기존 RRMs 에 비해 훨씬 적은 파라미터와 계산 자원으로 높은 성능을 달성하여, 제한된 환경에서의 추론 모델 배포에 유리합니다.

이 논문은 신경망 기반 추론 모델이 기호적 대칭성을 명시적으로 인코딩할 때, 데이터 효율성, 일반화 능력, 그리고 확장성이 획기적으로 개선될 수 있음을 입증한 중요한 연구입니다.