당신이 로봇에게 이야기를 이해하는 법을 가르치려 한다고 상상해 보세요. 단순히 사진 한 장을 주는 것이 아니라, 문장 전체를 단어 하나하나씩 전달하는 것입니다. 인공지능의 세계에서는 이것을 "순차적 데이터(sequential data)"라고 부릅니다. 오랫동안 로봇이 이러한 이야기를 다루도록 가르치는 가장 좋은 방법은 "어텐션(attention)"이라는 특별한 도구를 사용하는 것이었습니다. 어텐션을 마법의 형광펜이라고 생각해 보세요. 로봇이 문장을 읽을 때, 이 형광펜은 단순히 한 단어만 응시하는 것이 아니라 문장 전체를 훑으며 어떤 단어들이 서로 가장 중요한지를 결정합니다. 만약 로봇이 "The cat sat on the mat(고양이가 매트 위에 앉았다)"라는 문장을 읽는다면, 형광펜은 "sat(앉았다)"을 볼 때 "cat(고양이)"에 가장 밝게 빛나고, "on(~위에)"을 볼 때 "mat(매트)"에 가장 밝게 빛날 것입니다. 이는 로봇이 단순히 단어의 순서가 아니라 의미를 이해하도록 도와줍니다.

하지만 로봇은 실제로 이 형광펜을 사용하는 법을 어떻게 배울까요? 로봇은 확률적 경사 하강법(Stochastic Gradient Descent, SGD)이라는 방법을 사용합니다. 로봇을 안개 낀 골짜기(최선의 답)에서 가장 낮은 지점을 찾으려는 등산가라고 상상해 보세요. 등산가는 골짜기 전체를 볼 수 없으므로, 발로 지면을 느끼며 아래쪽으로 작은 무작위 발걸음을 옮깁니다. 만약 발걸음이 더 낮은 곳으로 향했다면 그 방향으로 계속 나아갑니다. 만약 턱에 걸린다면 다른 방향을 시도합니다. 과학자들이 던진 큰 질문은 이것입니다: 이 등산가는 얼마나 빨리 바닥에 도달할 수 있는가? 골짜기의 크기가 중요한가? 단지 정적인 사진 한 장을 보는 것과 달리, 순차적인 단어들을 따라 걷는 것이 게임의 양상을 바꾸는가?

스위스와 프랑스의 유수 기관 연구진들이 작성한 이 논문은 바로 이 질문을 깊이 있게 파고듭니다. 연구진은 이 "어텐션" 메커니즘의 단일 레이어를 사용하여 순차적 데이터로부터 학습하는 로봇의 단순화된 수학적 모델을 만들었습니다. 그들은 로봇의 학습 속도가 두 가지 요소, 즉 '단어 시퀀스의 길이'와 '위치 인코딩(positional encoding, 첫 번째 단어가 첫 번째이고 두 번째 단어가 두 번째라는 것을 알게 해주는 방법)'의 유무에 따라 어떻게 변하는지 정확히 알아보고 싶었습니다. 그들은 로봇의 학습 속도가 단순히 로봇이 얼마나 똑똑한가가 아니라, 로봇이 풀려고 하는 퍼즐의 숨겨진 구조에 달려 있다는 것을 발견했습니다.

두 단계의 여정

연구진은 로봇의 학습 여정이 마치 비디오 게임의 두 레벨처럼 두 개의 뚜렷한 단계로 이루어져 있다는 것을 발견했습니다.

레벨 1: 평원 탈출하기
로봇이 시작할 때, 로봇은 아무것도 모릅니다. 로봇의 내부 설정은 무작위이며, 마치 안개 낀 완벽하게 평평한 평원 한가운데에 떨어진 등산가와 같습니다. 이 "정보가 없는(uninformative)" 상태에서 로봇은 정답을 맞힐 확률이나 틀릴 확률이나 마찬가지입니다. 학습의 첫 번째 단계는 이 평평한 평면에서 벗어나기 위한 투쟁입니다. 로봇은 자신을 올바른 방향으로 이끌 아주 작은 경사를 찾아내야 합니다. 연구진은 이것이 얼마나 어려운지가 "시퀀스 정보 지수(Sequence Information Exponent, SIE)"라고 부르는 것에 달려 있다는 것을 발견했습니다.

SIE를 퍼즐의 "난이도 등급"이라고 생각하면 쉽습니다.

• 퍼즐이 간단하면 (SIE = 1), 평원은 완만하고 명확한 경사를 가집니다. 로봇은 빠르게 길을 찾습니다.
• 퍼즐이 까다로우면 (SIE = 2 이상), 평면은 더 평평하거나 경사가 숨겨져 있습니다. 로봇은 지면이 기울어진 것을 느끼기 위해 훨씬 더 많은 발걸음을 내디뎌야 합니다. 연구진은 이러한 어려운 퍼즐의 경우, 로봇이 움직이기 위해 필요한 단계 수가 데이터 크기에 따라 특정 방식으로 증가한다는 것을 증명했습니다. 예를 들어, 퍼즐이 "어려운" 경우 (SIE = 2), 로봇이 움직이기 위해 데이터 크기의 제곱에 비례하는 단계가 필요할 수도 있습니다.

레벨 2: 결승선을 향한 질주
로봇이 평원을 탈출하여 약간의 경사를 찾으면, 두 번째 단계가 시작됩니다. 이것은 "정렬(alignment)" 단계입니다. 로봇은 갑자기 빠르게 움직이며 정답을 향해 질주합니다. 연구진은 로봇이 아주 조금의 이해라도 갖추게 되면, 패턴을 포착하여 기하급급수적으로 빠르게 정답으로 돌진한다는 것을 보여주었습니다. 힘든 것은 항상 시작 단계이며, 마무리는 보통 질주입니다.

위치와 길이의 마법

이 논문에서 가장 흥격적인 부분은 로봇의 "위치 인코딩"이 게임의 판도를 어떻게 바꾸는가 하는 점입니다. 많은 AI 모델에서 로봇은 본래 "단어 1"이 "단어 2"보다 앞선다는 것을 알지 못합니다. 그래서 우리는 각 단어가 줄의 어디에 위치하는지 알려주는 숫자 태그와 같은 특별한 코드를 주어야 합니다.

연구진은 이러한 위치 태그를 추가하는 것이 학습 역학을 변화시키는 메커니즘으로 작용할 수 있다는 것을 발견했습니다. 어떤 경우에는, 이 태그들이 시작 단계의 "평평한 평면"의 형태를 바꿉니다. 혼란스러운 평면 대신, 태그는 시작부터 경사를 만들어냅니다. 이는 로봇이 무작위 추측이라는 "평범함"에서 훨씬 더 빨리 벗어날 수 있음을 의미합니다. 실제로 특정 유형의 퍼즐에서 위치 태그를 추가하면, 로봇이 취해야 하는 단계의 수를 엄청난 숫자에서 훨씬 작은 숫자로 줄일 수 있습니다. 이것은 마치 어둠 속에서 건초더미 속의 바늘을 찾는 것과, 바늘을 즉시 끌어당기는 자석을 가진 것의 차이와 같습니다.

또한 연구진은 시퀀스의 길이(단어의 수)가 학습에 미치는 영향도 살펴보았습니다. 그들은 "타이드(tied)" 모델(로봇이 시퀀스의 모든 단어에 대해 동일한 규칙 세트를 사용하는 모델)과 "언타이드(untied)" 모델(로로봇이 각 단어마다 고유한 규칙 세트를 가진 모델)을 비교했습니다.

놀랍게도, "타이드" 모델이 종종 훨씬 더 빠르게 학습합니다. 당신이 노래를 배우고 있다고 상상해 보세요. 만약 모든 음표마다 완전히 새로운 멜로디를 배워야 한다면 (언타이드), 시간이 너무 오래 걸릴 것입니다. 하지만 노래가 반복되는 패턴을 따른다는 것을 깨닫는다면 (타이드), 당신은 그 하나의 패턴을 마스터함으로써 노래 전체를 배울 수 있습니다. 연구진은 많은 문제에서 타이드 모델이 시퀀스 길이의 제곱에 비례하는 단계 내에 학습할 수 있는 반면, 언타이드 모델은 고전하거나 훨씬 더 오래 걸릴 수 있음을 보여주었습니다. 그러나 그들은 또한 "병리적인(pathological)" 사례들, 즉 매우 구체적이고 기이한 퍼즐들을 발견했는데, 여기서 타이드 모델은 자신이 찾으려는 패턴이 스스로 상쇄되어 갇혀버리는 반면, 유연성을 가진 언타이드 모델은 이를 해결할 수 있었습니다.

페이즈 다이어그램: 성공과 실패의 지도

마지막으로, 연구팀은 학습을 위한 기상 지도와 같은 "페이즈 다이어그램(phase diagram)"을 그려냈습니다. 그들은 두 가지 유형의 과제를 혼합했습니다: "의미론적(semantic)" 과제(단어의 의미가 중요한 경우, 예: "고양이" + "앉았다")와 "위치적(positional)" 과제(순서가 중요한 경우, 예: "첫 번째" + "두 번째").

그들은 과제가 의미에 얼마나 의존하는지, 혹은 위치에 얼마나 의존하는지에 따라 로봇이 다르게 행동한다는 것을 발견했습니다.

• 때때로 로봇은 자연스럽게 전역 최적해(진정한 의미)를 찾아냅니다.
• 때로는 속기도 합니다. 로봇은 "로컬 미니멈(local minimum)", 즉 지면의 낮은 움푹한 곳처럼 보이지만 실제로는 골짜기의 바닥이 아닌 곳에 빠질 수 있습니다. 로봇은 자신이 이겼다고 생각하며 그곳에 갇히지만, 실제로는 잘못된 것을 배운 것입니다 (예: 단어의 의미가 아니라 단어의 위치에 주목하는 법을 배움).

연구진은 특정한 임계점이 존재함을 보여주었습니다. 만약 과제가 주로 위치에 관한 것이라면, 로봇은 위치에 대한 답으로 수렴합니다. 만약 과제가 주로 의미에 관한 것이라면, 의미를 향해 갑니다. 하지만 그 중간 지점에서는, 로봇의 시작 위치와 시작 단계에서 느끼는 구체적인 "경사"가 성공할지 아니면 함정에 빠질지를 결정합니다.

이것이 의미하는 바

이 논문은 단순히 "AI가 좋아지고 있다"라고 말하는 것이 아닙니다. 이 논문은 왜 어텐션 기반 모델이 순차적 데이터를 처리하는 데 탁월한지에 대한 엄밀하고 수학적인 지도를 제공합니다. 연구진은 데이터의 구조(시퀀스)와 우리가 로봇에게 데이터를 제공하는 방식(위치 인코딩)이 단순한 세부 사항이 아니라, 로봇이 얼마나 빨리, 그리고 얼마나 잘 학습하는지를 제어하는 근본적인 레버임을 증명했습니다.

저자들은 복잡한 수학적 증명과 컴퓨터 시뮬레이션을 결가하여 이러한 결과를 보여주었습니다. 그들은 단순히 추측한 것이 아니라, 다양한 조건에서 로봇이 학습하는 데 필요한 정확한 단계를 계산했습니다. 그들은 어텐션 메커니즘이 강력하지만 마법은 아니라는 점을 보여주었습니다. 즉, 어텐션에는 특정한 한계와 강점이 있습니다. 만약 적절한 데이터 구조와 시작 단계에서의 적절한 힌트(위치 인코딩)를 제공한다면, 로봇은 복잡한 순차적 퍼즐을 놀라운 속도로 해결할 수 있습니다. 하지만 퍼즐이 단서를 숨기는 방식으로 구조화되어 있다면, 아무리 똑똑한 로봇이라도 제자리에서 맴돌 수 있습니다.

요약하자면, 이 연구는 차세대 AI의 "학습 곡선"에 대해 더 명확한 이해를 제공합니다. 더 나은 로봇을 만들기 위해서는 단순히 규모를 키우는 것이 아니라, 그들이 해결하려는 문제의 기하학적 구조를 이해하고, 출발선에서 벗어날 수 있도록 적절한 "위치적" 도움을 주어야 한다는 것을 알려줍니다.