당신이 로봇에게 내부적인 기분이나 위치가 변하는 일련의 지침을 따르는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이것은 "시퀀스 모델링(sequence modeling)"이라고 불립니다. 로봇은 이야기를 한 번에 한 단어씩 읽으며, 새로운 단어가 나올 때마다 이야기가 어디로 흘러가는지에 대한 이해를 업데이트합니다. 오랫동안 가장 유명한 로봇들(트랜스포머라고 불리는)은 이 작업에 뛰어났지만, 컴퓨터 자원을 엄청나게 탐내는 성격이었습니다. 그래서 과학자들은 더 가볍고 효율적인 새로운 유형의 로봇인 상태 공간 모델(State-Space Model, 이하 SSM)을 발명했습니다. SSM을 이야기를 읽을 때마다 전체 내용을 다시 읽는 대신, 즉각적으로 스스로를 업데이트하는 아주 작고 효율적인 메모리 뱅크를 가진 로보로 생각하면 됩니다.

하지만 여기서 까다로운 점이 있습니다. 단순히 효율적이라고 해서 모든 것을 할 수 있을 만큼 똑똑하다는 뜻은 아닙니다. 어떤 작업은 단순한 수학(숫자 더하기)과 같지만, 어떤 작업은 특정 순서에 따라 아이템을 바꾸는 복와 같은 복잡한 퍼즐과 같습니다. 수학에서 이러한 퍼즐은 종종 "군(groups)"을 사용하여 설명되는데, 이는 요소들이 결합되거나 바뀌는 방식에 대한 멋진 규칙입니다. 만약 규칙이 단순하고 예측 가능하다면(숫자를 더하는 것처럼), 로봇은 이를 쉽게 처리할 수 있습니다. 하지만 만약 규칙이 지저도하고 연산 순서에 의존한다면(예를 들어, 빨강, 파랑, 노랑 공을 바꾸는 과정에서 빨강을 파랑 다음에 바꾸는 것과 파랑을 빨강 다음에 바꾸는 것이 서로 다른 경우처럼), 로봇은 혼란에 빠질 수 있습니다. 과학자들은 이 효율적인 로봇들이 실제로 이해할 수 있는 절대적인 한계가 어디까지인지 알고 싶어 합니다. 이들은 복잡한 퍼즐을 배울 수 있을까요, 아니면 단순한 퍼즐에 머물러 있을까요?

이 논문은 이 질문을 깊이 파고들며, "대각선 SSM(Diagonal SSM)"이라 불리는 매우 효율적인 특정 종류의 로봇을 테스트합니다. 연구자들은 이 로봇들이 복잡한 상태 변화, 특히 비가환 군(non-Abelian groups, 즉 순서에 의존하는 복잡한 퍼즐)을 추적하는 법을 배울 수 있는지 확인하고자 했습니다. 그들은 하나의 수학적 벽을 발견했습니다. 단일 레이어의 대각선 로봇은 아무리 노력해도 이러한 복잡한 퍼즐을 해결할 수 없다는 것입니다. 그러나 이 로봇들을 여러 층으로 쌓으면, 이론적으로는 이 퍼즐들을 해결할 수 있는 능력을 갖추게 되지만, 이는 퍼즐이 특정한 계층적 구조(이를 "가해군(solvable group)"이라 부릅니다)를 가지고 있을 때만 가능합니다.

이 이야기를 흥미롭게 만드는 반전이 있습니다. 로봇이 효율적이라고 해서 반드시 모든 것을 다 할 수 있는 것은 아니라는 점입니다. 이론적으로는 여러 층을 쌓은 로봇이 이 퍼즐들을 풀 수 있어야 하지만, 실제로는 종종 실패한다는 것을 연구자들은 발견했습니다. 이는 마치 엔진은 산을 오를 만큼 강력하지만, 운전자(학습 알고리즘)가 계속 도랑에 빠져 길을 찾지 못하는 자동차와 같습니다. 이 논문은 그 능력이 아키텍처 내에 존재한다는 것을 증명하지만, 표준적인 학습 방법으로는 그 능력을 끌어내기가 매우 어렵다는 것을 보여줍니다.

로봇의 메모리 뱅크

저자들이 무엇을 발견했는지 이해하려면, 먼저 이 "대각선 SSM"이 어떻게 작동하는지 살펴봐야 합니다. 대각선 SSM의 작동 방식을 조명 스위치 한 줄이 있는 로봇이라고 상상해 보세요. 로봇이 새로운 단어를 읽을 때, 이 스위치들은 단순한 규칙에 따라 움직입니다. "대각선" SSM에서 한 스위치를 조절하는 규칙은 다른 스위치에 의존하지 않습니다. 각 스위치는 독립적으로 작동합니다. 이는 마치 각자가 자신의 일을 수행하며 서로 대화할 필요가 없는 팀의 작업자들처럼, 로봇을 믿을 수 없을 정도로 빠르고 배우기 쉽게 만듭니다.

연구자들은 이 로봇들을 "상태 추적(state-tracking)"이라는 게임으로 테스트했습니다. 이 게임에서 로봇은 일련의 명령(예: "빨간 공을 바꿔라", "파란 공을 회전시켜라")을 받고 최종적인 공의 배치를 기억해야 합니다. 만약 명령들이 단순하고 가환(commute)한다면(즉, 2+3이 3+2와 같은 것처럼 순서가 상관없는 경우), 로봇은 달인입니다. 하지만 명령들이 비가환적이라면(예를 들어, 신발을 신기 전에 양말을 신는 것과 양말을 신기 전에 신발을 신는 것의 차이처럼), 로봇은 훨씬 더 어려운 도전에 직면하게 됩니다.

이론적 장벽: 하나의 레이어 vs 여러 개의 레이어

논문은 단일 레이어 로봇이 할 수 있는 일에 대한 강력한 수학적 증명으로 시작합니다. 저자들은 단일 레이어의 대각선 SSM은 근본적으로 가환(Abelian) 퍼즐만을 해결할 수 있다는 것을 보여주었습니다. 아무리 로봇을 미세하게 조정하더라도, 독립적인 스위치가 하나뿐이라면 복잡한 비가환 군(세 객체의 치환인 $S_3$와 같은)의 상태를 추적할 수 없습니다.

하지만 레이어를 쌓으면 이야기는 더욱 흥미로워집니다. 저자들은 $k$개의 대각선 로봇 레이어를 쌓으면, 퍼즐이 $k$개의 단순한 가환 단계의 사슬으로 분해될 수 있는 경우에 한하여 그 팀이 퍼즐을 해결할 수 있음을 증명했습니다. 이는 이어달리기와 같습니다. 만약 퍼즐이 한 명의 주자에게 너무 복계라면, 두 번째 주자에게 바통을 넘기고, 그 두 번째 주자가 세 번째 주자에게 넘길 수 있습니다. 퍼즐이 특정 수의 단순한 순차적 단계로 나눌 수 있는 한, 그만큼의 로봇 팀이 이론적으로 문제를 해결할 수 있습니다. 이는 깊이(레이어를 추가하는 것)가 더 복잡한 지능을 여는 열쇠이지만, 엄격한 규칙이 따른다는 것을 의미합니다: 퍼즐이 가진 복잡성의 "조각"만큼 정확히 많은 레이어가 필요합니다.

학습의 격차: 이론 vs 현실

여기서 이야기는 더욱 심화됩니다. 저자들은 단순히 수학적 증명에 그치지 않고, 실제로 이 로봇들을 구축하고 학습시키려 노력했습니다. 그들은 단순한 덧셈(가환)과 까다로운 $S_3$ 치환 퍼즐(비가환)을 포함한 다양한 작업에 대해 단일 레이어 및 이중 레이어 모델을 테스트했습니다.

결과는 성공과 좌절이 섞여 있었습니다. 단순한 작업의 경우, 로봇은 빠르게 학습했고 매우 긴 시퀀스도 처리할 수 있었습니다. 하지만 복잡한 $S_3$ 작업의 경우, 수학적 이론에 따르면 이중 레이어 로봇이 이를 해결할 수 있어야 함에도 불구하고, 대부분 실패했습니다. 로봇은 수천 번의 시도 후에도 올바른 패턴을 학습하지 못했습니다.

연구자들은 문제가 로봇이 "할 수 없어서"가 아니라, 솔루션이 로봇의 설계 안에 존재함에도 불구하고 표준적인 학습 방법(경사 하강법)이 그 정답을 찾아내지 못했다는 것을 발견했습니다. 한 실험에서는 로봇에게 "도움을 주기 위해" 정답에 매우 가까운 상태에서 시작하도록 했습니다. 그렇게 하자 로봇은 갑자기 작업을 학습했고, 이전에 본 적 없는 훨씬 더 긴 시퀀스도 처리할 수 있었습니다. 이는 솔루션이 로봇의 "가중치 공간(weight space)" 안에 숨겨져 있지만, 그 경로가 매우 좁고 표준적인 학습법으로는 항해하기가 매우 어렵다는 것을 시사합니다.

시사점

이 논문은 대각선 SSM이 충분한 레이어를 쌓는다면 복잡한 상태 추적 문제를 해결할 수 있는 이론적 능력이 있음에도 불구하고, 그것이 할 수 있는 일과 실제로 학습하는 것 사이에는 거대한 간극이 존재한다고 결론짓습니다. 수학적으로는 이중 레이어 로봇이 $S_3$ 퍼즐을 풀 수 있지만, 실제로는 대개 실패합니다. 이는 AI 연구에 중요한 교훈을 줍니다. 모델이 지적인 잠재력을 가지고 있다고 해서 반드시 쉽게 똑똑해지는 것은 아니라는 점입니다. 저자들은 이 간극을 메우기 위해서, 우리는 모델을 학습시키는 방식을 바꾸거나, 혹은 (스위치 간의 상호작작용을 조금 더 허용하는 식으로) 아키텍처를 약간 수정하여 솔루션으로 가는 길을 덜 미끄럽게 만들어야 할 수도 있다고 제안합니다.

요컨대, 이 효율적인 로봇들은 어려운 문제를 풀 수 있는 교과서적 지식을 갖추고 있지만, 그 지식을 어떻게 적용해야 할지 몰라 시험에서 계속 낙제하는 우수한 학생들과 같습니다. 이 논문은 그들이 무엇을 할 수 있는지 명확히 그려내면서도, 그들이 실제로 성과를 내도록 만드는 것이 수학이 제시하는 것보다 훨씬 더 어려운 도전임을 경고하고 있습니다.