컴퓨터가 단순히 엄격한 레시피를 따르는 것이 아니라, 대화 도중 실시간으로 학습할 수 있는 세상을 상상해 보십시오. 이것이 바로 이야기를 쓰고, 수학 문제를 풀고, 우리와 대화를 나누는 도구들의 뒤에 숨겨진 초지능형 AI 브레인인 거대 언어 모델(LLM)의 영역입니다. 보통 이러한 AI에게 새로운 기술을 가르치려면 과학자들이 컴퓨터의 깊은 코드 속으로 들어가 내부 설정을 미세하게 조정해야 합니다. 이는 마치 로봇의 뇌를 재배선하는 것과 비슷합니다. 하지만 최근, "인컨텍스트 러닝(In-Context Learning, 문맥 내 학습)"이라는 매혹적인 현상이 발견되었습니다. 이 모델들은 코드를 단 한 줄도 바꾸지 않고도, 여러분이 채팅창에 제공하는 예시들을 읽는 것만으로 학습할 수 있다는 사실이 밝혀졌습니다. 이는 마치 시험을 보기 위해 일주일 내내 공부하는 대신, 시험 직전에 몇 개의 연습 문제를 보는 것만으로도 내용을 완벽하게 이해하는 학생과 같습니다.

더욱 놀라운 점은, 연구자들이 모델에게 이전 답변들과 그에 따른 '점수'(예: 성적이나 평점)를 함께 제공하면, 모델이 그 피드백을 사용하여 다음 답변을 즉각적으로 개선할 수 있다는 것을 발견했다는 것입니다. 이는 마치 AI가 "오, 지난번 이야기는 10점 만점에 6점이었나? 내가 뭘 잘못했는지 알겠어. 다시 시도해서 10점을 목표로 해보자"라고 말하는 것과 같습니다. 하지만 여기서 큰 미스터리가 발생합니다. 기계가 단지 점수를 읽는 것만으로 어떻게 실제로 '학습'을 하는 걸까요? 내부에 비밀 선생님이라도 있는 걸까요? 아니면 그냥 추측하는 것일까요? COLM 2026 컨퍼런스의 한 새로운 논문은 이 질문을 파고들며, 이 현상을 만드는 숨겨진 수학적 마법을 밝혀내고자 합니다.

논문의 핵심 발견: AI의 비밀스러운 "보상" 근육

"In-Context Learning as Implicit Policy Gradient(암묵적 정책 경사로서의 인컨텍스트 러닝)"라는 제목의 이 논문은 AI 모델이 점수를 사용하여 어떻게 더 나아지는지에 대한 영리한 설명을 제안합니다. 저자인 마사히로 카네코(Masahiro Kaneko)와 티모시 볼드윈(Timothy Baldwin)은 AI가 과거의 답변 목록과 그 점수를 읽을 때, 단순히 그것들을 암기하는 것이 아니라고 주장합니다. 대신, AI는 강화 학습에서 사용되는 유명한 학습 방법인 **정책 경사(Policy Gradient)**와 정확히 일치하는 수학적 트릭을 비밀리에 수행하고 있다는 것입니다.

이를 이해하기 위해, AI를 완벽한 요리를 만들려는 셰프라고 상상해 보십시오.

• 기존 방식 (지도 학습): 보통 셰프가 더 잘 요리하게 하려면, 완벽한 요리의 사진(입력)과 완벽한 레시피(출력)를 보여줍니다. 그들은 자신이 만든 것과 만들어야 할 것 사이의 차이를 복사하며 배웁니다.
• 새로운 방식 (점수 조건부 ICL): 이 새로운 시나리오에서 셰프에게는 완벽한 레시피가 없습니다. 대신, 어제 만든 요리 목록과 각 요리에 대한 음식 평론가의 점수(예: "이 수프는 10점 만점에 4점이지만, 이 케이크는 9점이다")가 있습니다. 셰프는 이 목록을 보고 "다음 요리는 수프보다는 케이크의 맛에 가깝게 만들어야겠다"라고 결정합니다.

논문은 AI의 내부 메커즘인 **셀프 어텐션(Self-Attention)**이 이 과거의 요리들에 가중치를 두는 초스마트 계산기 역할을 한다고 증명합니다. AI의 어텐션 메커니즘은 수학적으로 높은 점수를 받은 예시들을 '잡아서' 현재의 사고 과정에 가깝게 끌어당기고, 낮은 점수를 받은 예시들은 밀어낼 수 있습니다. 이는 마치 AI가 점수에 따라 "좋은" 답변만을 골라내는 자석 손을 가지고 있으며, 이를 통해 자신의 생각을 올바른 방향으로 밀어붙이는 것과 같습니다.

수학적 마법: AI가 "좋은" 답변을 잡는 법

저자들은 이것이 단순히 운 좋은 추측이 아니라, 모델이 구축된 방식의 구조적 특징임을 보여줍니다. 그들은 AI의 내부 가중치(두뇌 내부의 노브와 다이얼)를 특정 방식으로 설정하면, 어텐션 메커니즘이 **보상 가중치 집계기(reward-weighted aggregator)**가 된다는 것을 보여주는 "개념 증명"을 제공합니다.

여기 비유가 있습니다. AI가 시험을 치르는 학생이라고 가정해 봅시다.

1. 입력: 학생은 과거의 질문 목록과 그에 대해 받은 점수를 봅니다.
2. 어텐션 메커니즘: 이것은 학생의 뇌가 어떤 과거 예시에 집중할지 결정하는 과정입니다.
3. 마법: 논문은 AI의 뇌가 구성될 수 있는 방식을 보여주는데, 특정 과거 예시에 주는 "집중도"는 그 예시가 받은 점수에 직접적으로 비례하게 됩니다. 만약 어떤 예시가 높은 점수를 받았다면 AI는 그 예시에 많은 주의를 기울입니다. 만약 낮은 점수를 받았다면, AI는 거의 쳐다보지도 않습니다.

저자들은 이 과정이 수학적으로 REINFORCE라고 불리는 방법과 동일하다는 것을 입증했습니다. REINFORCE는 AI 에이전트에게 보상을 극대화하도록 가르치는 표준적인 방법입니다. 간단히 말해, AI는 점수를 바탕으로 "경사(gradient, 이동 방향)"를 계산하여, "내 내부 상태를 높은 점수를 받은 예시 쪽으로 이동시켜라"라고 효과적으로 명령하는 것입니다.

안전장치: AI가 폭주하지 않는 이유

이 논문에서 가장 흥aci한 부분 중 하나는 이 학습 과정이 왜 안전하고 안정적인지를 설명한다는 점입니다. AI 훈련의 세계에서, 모델을 너무 강하게 변화시키려 하면 이전에 알고 있던 것을 잊어버리거나 이상하고 터무니없는 답변을 하기 시작할 수 있습니다. 이를 "분포 변화(distribution shift)"라고 합니다.

저자들은 AI가 제한된 수의 예시(문맥)만을 보고 있으며 점수가 유한하기 때문에(무한히 높거나 낮을 수 없음), AI의 행동 변화 또한 제한된다는 것을 증명합니다. 그들은 AI의 새로운 답변이 기존의 답변과 너무 달라지지 않도록 보장하는, "신뢰 영역(trust region)"과 유사한 수학적 한계를 도출했습니다. 이는 마치 롤러코스터의 안전 난간과 같습니다. AI는 더 나은 답변을 찾기 위해 속도를 높이고 코너를 돌 수 있지만, 수학은 AI가 궤도를 벗어나지 않도록 보장합니다.

실험 결과

이것이 단지 아름다운 이론에 불과하지 않다는 것을 증명하기 위해, 저자들은 Llama-3, Olmo-3, Qwen-3, GPT-4o 등을 포함한 세계에서 가장 강력한 AI 모델들을 테스트했습니다. 그들은 모델들에게 자신의 출력물과 점수를 목록으로 제공하고 어떤 일이 일어나는지 관찰하는 실험을 수행했습니다.

결과는 다음과 같습니다:

• 점수의 중요성: 점수를 섞었을 때(나쁜 답변에 높은 점수를 주고, 좋은 답변에 낮은 점수를 주었을 때), AI의 행동이 완전히 바뀌었습니다. 이는 AI가 단순히 텍스트를 읽는 것이 아니라 실제로 숫자를 읽고 있음을 증명합니다.
• "집중도"는 점수와 일치함: 그들은 AI의 내부를 들여다보았고, "어텐션 가중치"(AI가 각 예시에 얼마나 집중하는지)가 점수와 강한 상관관계가 있음을 발견했습니다. 점수가 높을수록 AI는 해당 예시에 더 많이 집중했습니다.
• 강화 학습처럼 작동함: AI의 행동을 명시적으로 경사를 계산하는 전통적인 강화 학습 알고리즘과 비교했을 때, AI가 움직이는 방향은 거의 동일했습니다. AI는 명시적으로 지시받지 않았음에도 불구하고 동일한 수학을 수행하고 있었습니다.
• 시간이 지날수록 개선됨: AI가 이를 반복적으로 수행하도록 했을 때(답변 생성 $\rightarrow$ 점수 획득 $\rightarrow$ 더 나은 답변 생성 $\rightarrow$ 더 높은 점수 획득), 모델들은 수학적 추론 및 프롬프트 최적화와 같은 작업에서 지속적으로 성능이 향 향상되었습니다.

의미하는 바 (그리고 의미하지 않는 것)

이 논문은 자신들이 주장하지 않는 바를 매우 신중하게 명시하고 있습니다. AI가 인간과 같은 방식으로 "생각"하거나 "이해"한다고 말하지 않습니다. 또한 AI가 백그라운드에서 복잡한 최적화 프로그램을 실행하고 있다고 말하지도 않습니다. 대신, AI의 아키텍처가 어텐션 메커니즘을 통해 일종의 최적화를 자연스럽게 **구현(implement)**하고 있음을 보여줍니다.

저자들은 이것이 "구조적 대응(structural correspondence)"임을 강조합니다. 즉, AI가 의도적으로 하고 있지 않더라도 수학적 결과는 동일하게 나타난다는 뜻입니다. 또한 그들의 증명이 일부 단순화된 가정(선형 어텐션 등)에 의존하고 있지만, 실제 복잡한 모델에 대한 실험을 통해 동일한 동작이 실제로 작동함을 보여주었습니다.

요약하자면, 이 논문은 AI 모델이 코드를 변경하지 않고 어떻게 피드백으로부터 학습하는지에 대한 미스터리를 해결합니다. AI가 "좋은" 예시와 "나쁜" 예시의 목록을 볼 때, 어텐션 메커니즘을 사용하여 자신을 "좋은" 쪽으로 수학적으로 끌어당기며, 효과적으로 정책 경사 업데이트를 수행한다는 것을 밝혀냈습니다. 이는 복잡한 학습 행동이 단순하고 잘 설계된 수학적 구조로부터 어떻게 발현될 수 있는지를 보여주는 아름다운 사례이며, AI를 자신의 성적을 통해 배우는 자기 개선형 학생으로 탈바꿈시킵니다.