Learning in Infinitesimal Non-Compositional Sketches

학습 기계의 숨겨진 문법

당신이 로봇에게 비디오 게임을 하는 법을 가르치려 한다고 상상해 보세요. 머신러닝의 세계에서 이를 수행하는 표준적인 방법은 로봇에게 점수판을 주는 것입니다. 실수를 하면 점수가 깎이고, 잘하면 점수가 올라갑니다. 그러면 로봇은 다음번에 더 높은 점수를 받기 위해 자신의 내부 설정을 미세하게 조정합니다. 이것을 "최적화(optimization)"라고 부르며, 사진 속 고양이를 인식하는 것부터 언어를 번역하는 것까지 모든 분야에서 놀라울 정도로 잘 작동합니다. 하지만 여기에는 함정이 있습니다. 이 방식은 로봇의 두뇌를 '블랙박스'처럼 취급합니다. 이 방식은 오직 최종 숫자만을 신경 쓸 뿐, 로봇이 어떻게 그 결과에 도달했는지, 혹은 그 과정에서 사용된 논리가 실제로 타당한지는 무시합니다.

이제 단순히 최종 점수만 보는 대신, 로봇의 생각을 들여다보며 그 생각들이 올바르게 "결합되어(sticking together)" 있는지 확인할 수 있다고 상상해 보세요. 수학과 컴퓨터 과학에서 사물들이 완벽하게 맞물리는 이 개념을 "구성성(compositionality)"이라고 부릅니다. 이는 마치 시계의 톱니바퀴가 매끄럽게 맞물리는지, 혹은 이야기 속의 문장들이 논리적으로 흐르는지 확인하는 것과 같습니다. 때때로 로봇은 속임수를 배우기도 합니다. 즉, 잘못된 이유로 정답을 맞히거나, 자세히 들여다보면 내부 논리가 무너져 내릴 수도 있습니다. "무한 소량의 비구성적 스케치에서의 학습(Learning in Infinitesimal Non-Compositional Sketches)", 줄여서 LINCS라고 불리는 이 논문은 범주적 머신러닝(categorical machine learning) 분야에서 나왔습니다. 이는 추상 수학(구체적으로는 범주론)의 규칙을 사용하여 기계가 어떻게 학습하는지를 설명하는 세련된 방식입니다. 이 논문은 깊은 질문을 던집니다. 우리가 단순히 로봇의 실수를 보는 것을 넘어, 로봇의 두뇌를 아주 아주 미세하게 툭 건드렸을 때 그 실수가 어떻게 변하는지를 관찰한다면 어떤 일이 벌어질까요?

논문의 핵심 아이디어: "미세한 넛지(Tiny Nudge)" 테스트

이 논문은 LINCS라고 불리는 새로운 방식의 머신러닝 사고법을 제안합니다. 단순히 "로봇이 정답을 맞혔는가?"(보통 예/아니오 또는 하나의 숫자)를 묻는 대신, LINCS는 "로봇의 논리가 깨졌는가? 그리고 만약 우리가 로봇의 두뇌를 살짝 흔들었을 때, 그 깨짐이 더 심해지는가, 그대로 유지되는가, 아니면 스스로 치유되는가?"를 묻습니다.

저자들은 머신러닝 모델이 실패할 때마다 그것은 단순한 수학적 오류가 아니라, **구성(composition)**의 실패라고 제안합니다. 당신이 블록으로 탑을 쌓고 있다고 상상해 보세요. 탑이 무너지면, 일반적인 선생님은 그저 "점수를 잃었다"라고 말할 것입니다. 하지만 LINCS 선생님은 탑을 보고 이렇게 말할 것입니다. "밑단의 블록이 기울어져 있었기 때문에 블록들이 제대로 맞물리지 않았구나." 그러나 LINCS는 여기서 한 걸음 더 나아갑니다. "만약 그 밑단의 블록을 미세한 양만큼 살짝 건드린다면, 전체 탑이 숨겨진 결함을 드러내며 흔들리게 될까?"

논문의 언어로, 이 "미세한 건드림"은 **무한 소량(infinitesimal)**이라고 불립니다. 저자들은 학습 과정을 하나의 '지도'처럼 다룹니다. 지도가 완벽하다면 모든 경로가 올바른 목적지로 이어집니다. 만약 지도가 망가졌다면, 경로들이 서로 일치하지 않을 것입니다. LINCS는 이 망가진 지도를 가져와서 그 "접선(tangent)" 버전, 즉 지도의 지도를 만듭니다. 그리고 원래 지도의 미세한 오류들이 확대된 새로운 버전에서도 여전히 일치하지 않는지 확인합니다. 만약 그렇다면, 그 모델은 단순한 점수판으로는 놓칠 수 있는 깊은 구조적 문제를 가지고 있는 것입니다.

"접선 리프트(Tangent Lift)": 보이지 않는 것을 보다

이 논문의 핵심 개념은 **접선 리프트(Tangent Lift)**입니다. 학습 모델을 많은 움직이는 부품을 가진 복잡한 기계라고 생각해 보세요. 보통 우리는 기계가 정상적으로 작동할 때만 관찰합니다. 접선 리프트는 기계를 단순히 보여주는 것이 아니라, 기계를 살짝 흔들었을 때 각 부품이 어떻게 움직이는지를 보여주는 현미경을 갖다 대는 것과 같습니다.

이 논문은 현재의 많은 머신러닝 방법이 속도계만 보면서 자동차를 운전하는 것과 같다고 주장합니다. 당신은 얼마나 빨리 가고 있는지는 알지만, 엔진이 불규칙하게 작동하고 있는지 혹은 바퀴가 빠지기 직전인지는 알지 못합니다. LINCS는 엔진의 진동을 보여주는 대시보드를 추가하는 것과 같습니다. 만약 진동("무한 소량의 비구성성")이 너무 높다면, 이는 현재 빠르게 달리고 있을지라도 자동차의 설계 자체가 결함이 있다는 뜻입니다.

저자들은 이 "진동"을 **장애(obstruction)**라고 정의합니다. 수학에서 장애란 완벽한 솔루션이 존재하는 것을 막는 무언가를 의미합니다. LINCS에서 장애는 모델의 내부 논리가 일관되지 않다는 신호입니다. 논문은 모델이 진정으로 올로 된 규칙을 학습하고 있다면, 이러한 장애가 주요 과제뿐만 아니라 모든 미세한 "건드림(nudge)"에 대해서도 사라져야 한다고 보여줍니다. 만약 모델을 건드렸을 때도 장애가 남아 있다면, 그것은 모델이 근본적인 구조를 이해하는 것이 아니라 단순히 패턴을 암기하고 있다는 뜻입니다.

거대한 혼돈에서 국소적인 해결로

이 논문의 영리한 부분 중 하나는 크고 복잡한 문제를 처리하는 방식입니다. 엉망으로 엉킨 실타래를 풀려고 노력한다고 상상해 보세요. 어디가 문제인지 파악하기 어렵습니다. LINCS는 이 엉킨 매듭을 작은 루프들로 나누어 생각할 것을 제안합니다. 만약 하나의 작은 루프가 엉켜 있다면, 그 루프를 고칩니다. 논문은 작은 루프들을 모두 올바르게 고친다면 결국 큰 매듭도 풀리게 될 것임을 증증합니다. 이것을 **장애 국소화(obstruction localization)**라고 합니다.

뉴럴 네트워크(챗봇 등에 사용되는 AI의 종류)의 세계에서, 이는 네트워크 전체를 한꺼번에 볼 필요가 없음을 의미합니다. 네트워크의 단 하나의 층(layer)만을 보고, 그 층의 미세한 "건드림"이 논리적 결함을 일으키는지 확인한 뒤 그 특정 지점을 수정할 수 있습니다. 논문은 이러한 작은 조각들을 고치는 방식이 원래의 문제뿐만 아니라 "건드림" 버전의 문제에 대해서도 똑같이 효과적임을 보여줍니다. 이는 우리가 이러한 미세하고 숨겨진 논리적 결함이 큰 오류를 일으키기 전에 미리 수정함으로써 더 나은, 더 안정적인 AI를 구축할 수 있음을 의미하므로 매우 중요합니다.

학습의 "탑"

또한 이 논문은 **코알제브라적 고정점(coalgebraic fixed point)**이라는 흥미로운 개념을 도입합니다. 이는 복잡하게 들리지만 사실 매우 간단합니다. 양파 껍질을 까는 것을 상상해 보세요. 한 겹을 까고, 그다음 겹을 까고, 또 그다음 겹을 깝니다. 보통은 중심부에 도달하면 멈춥니다. 하지만 LINCS에서는 계속해서 껍질을 까냅니다. 중심부를 보고, 그다음 "중심의 중심"을 보고, 계속해서 나아갑니다.

저자들은 진정으로 완벽한 학습 모델이란, 충분히 많은 층을 까낸 후(또는 충분한 "접선 리프트"를 적용한 후) 더 이상 새로운 문제가 발견되지 않는 모델이라고 제안합니다. "진동"이나 "장애"가 더 이상 변하지 않는 상태입니다. 모델이 **안정적인 상태(stable state)**에 도달한 것입니다. 논문은 고급 수학을 사용하여, 만약 이 껍질을 까는 과정을 계속 반복한다면, 결국 모델의 논리가 너무나 일관적이어서 어떤 미세한 건드림에도 무너지지 않는 지점에 도달하게 될 것임을 증명합니다. 이것이 바로 "고정점"입니다. AI가 단순히 정답을 맞히는 것을 넘어, 게임의 규칙을 진정으로 "학습"한 순간입니다.

논문이 부정하는 것과 제안하는 것

이 논문이 말하고자 하는 바가 아닌 것을 명시하는 것이 중요합니다. 저자들은 기존의 AI 훈련 방식(단순한 점수와 손실 함수를 사용하는 방식)을 버려야 한다고 주장하는 것이 아닙니다. 그들은 기존 방식이 강력하고 유용하다는 점을 분명히 밝히고 있습니다. 대신, 그들은 기존 방식이 불완전하다고 제안합니다. 모델의 오차 점수가 작다고 해서 그 모델이 완벽하다는 생각에 반대하는 것입니다. 모델은 아주 작은 오차 점수를 가질 수 있지만, 실제 세상이 이상하게 변할 때 무너질 수 있는 깨진 내부 논리를 가질 수 있습니다.

또한 이 논문은 이를 해결하기 위해 완전히 새로운 수학을 발명해야 한다는 생각도 배제합니다. 대신, 우리는 기존의 수학적 도구들("접선 범주" 및 "스케치")을 사용하여 문제를 재구성할 수 있음을 보여줍니다. 저자들은 모든 머신러닝 문제를 해결했다고 주장하는 것이 아닙니다. 실제로, 이러한 "안정적 상태"가 존재한다는 것은 수학적으로 증명되었지만, 이를 실제 AI(이야기를 쓰거나 자동차를 운전하는 거대 모델들)에서 실제로 찾아내는 것은 여전히 진행 중인 작업이라고 인정합니다. 그들은 대규모 언어 모델이나 강화 학습과 같은 분야에서 이 이론이 실제로 작동하는지 확인하기 위한 실험이 현재 진행 중이라고 언급하며, 그 구체적인 실험 결과는 완성된 것이 아닌 "진행 중(underway)"인 상태로 설명합니다.

"리 브래킷(Lie bracket)"과 AI의 비밀 언어

논문에서 가장 유희적이면서도 깊이 있는 개념 중 하나는 **리 브래킷(Lie bracket)**입니다. 간단히 말해, 이것은 기계 내의 두 가지 서로 다른 행동이 서로 어떻게 간섭하는지를 측정하는 방법입니다. 당신이 춤을 추고 있다고 상해 보세요. 왼쪽으로 회전한 다음 앞으로 발을 내디디면, 앞으로 발을 내디딘 다음 왼쪽으로 회전했을 때와는 다른 지점에 도착하게 됩니다. 이 두 결과의 차이가 바로 "리 브래킷"입니다.

논문은 잘 학습된 AI라면 이러한 "춤 동작"(또는 내부 연산)들이 완벽하게 어우러져야 한다고 제 제안합니다. 만약 그렇지 않다면, 그것은 AI가 순서에 대해 혼란을 겪고 있다는 뜻입니다. 저자들은 이러한 리 브래킷을 확인함으로써, AI 모델이 언어나 의사 결정 등을 처리할 때 발생하는 숨겨진 결함을 찾아낼 수 있음을 보여줍니다. 예를 들어, AI가 "문장의 단어 순서를 바꾸는 것"이 의미를 변화시키지 않아야 함을 이해해야 하는데 만약 변화시킨다면, 리 브래킷은 정확히 어디에서 그 혼란이 발생하는지를 감지할 수 있습니다.

이것이 미래에 중요한 이유

그렇다면 왜 호기심 많은 십 대가 이 내용에 관심을 가져야 할까요? 미래의 AI는 단순히 똑똑한 추측기가 되어서는 안 되기 때문입니다. AI는 논리적인 사고가가 되어야 합니다. 우리가 단순히 점수를 최소화하는 방향으로만 AI를 훈련시킨다면, 시험은 잘 통과하지만 세상에 대한 이해는 부족한 모델을 얻게 될 수도 있습니다. 그런 모델은 매우 취약하여, 예상치 못한 상황이 닥치자마자 무너질 수 있습니다.

LINCS는 더욱 견고하고 신뢰할 수 있는 AI를 구축하는 길을 제시합니다. "미세한 건드림"을 확인하고 압박 속에서도 논리가 유지되는지 검증함으로써, 우리는 단순히 인간의 행동을 흉내 내는 것이 아니라 문제의 구조를 실제로 이해하는 기계를 만들 수 있습니다. 이 논문은 차세대 AI가 단순히 데이터로 훈련받는 것이 아니라, **일관성(coherence)**에 대해 훈련받을 것임을 시사합니다. 그것은 기계가 단순히 답을 맞히는 것이 아니라, 땅이 흔들려도 무너지지 않는 논리의 탑을 쌓도록 가르치는 것에 관한 것입니다.

저자들은 이 프레임워크가 머신러닝을 바라보는 새로운 렌즈라고 결론짓습니다. 이는 AI를 훈련시키는 혼란스럽고 무질서한 과정을, 기계가 완벽하고 안정적인 이해에 도달할 때까지 층층이 깨진 논리를 고쳐나가는 구조적인 여정으로 바꿉니다. 수학적 내용은 방대하지만, 아이디어는 단순합니다. 정답만 확인하지 말고, 사고 과정을 확인하십시오. 그리고 만약 그 사고 과정이 건드렸을 때 흔들린다면, 다음 단계로 넘어가기 전에 그 흔들림을 먼저 고치십시오.