당신이 세계에서 가장 복잡한 미스터리를 해결할 수 있는 천재 탐정이라고 상상해 보십시오. 당신에게는 수백만 페이지의 단서를 담을 수 있는 초강력 수첩이 있습니다. 하지만 여기 반전이 있습니다. 때때로, 미스터리가 해결 가능한 상태이고 수첩에 공간도 충분함에도 불구하고, 당신은 갑자기 글쓰기를 멈춥니다. 펜을 내려놓고 고개를 저으며 이렇게 말하죠. "이건 내 수첩에 담기엔 너무 커. 다 끝낼 수 없어." 실제로 공간이 부족해서가 아니라, 단지 그렇다고 생각했기 때문입니다. 이것은 오늘날 우리가 가진 가장 진보된 컴퓨터 뇌, 즉 대규모 언어 모델(LLM) 내부에서 일어나는 일과 매우 비슷합니다. 이 AI 시스템들은 방대한 양의 텍el 데이터를 학습하여 수학 문제를 풀거나, 코드를 작성하고, 복잡한 전략을 계획할 수 있습니다. 오랫동안 과학자들은 이 AI들이 단순히 이해하기에 너무 어려운 문제에 직면했을 때만 실패한다고 생각했습니다. 하지만 한 새로운 연구는 때때로 AI가 실패하는 이유가 너무 멍청해서가 아니라, 자신의 한계를 두려워하기 때문이라는 점을 시사합니다.

"Lost in Context"라는 제목의 이 논문은 "컨텍스트 불안(context anxiety)"이라는 기묘한 새로운 문제를 파헤칩니다. 알고 보니, 이 AI 모델들은 종로를 풀기 전, 자신의 "수첩"(기술적으로는 토큰 제한이라고 불림)이 바닥날 것에 대해 공포를 느끼곤 합니다. 연구진은 이 모델들이 정말로 어려운 문제를 만났을 때 어떻게 행동하는지 조사했고, 그 결과 많은 모델이 문제가 실제로 얼마나 많은 노력을 필요로 하는지 추측하는 데 형편없다는 것을 발견했습니다. 그들은 노력을 과대평가하고, 겁을 먹고, 조기에 포기합니다. 다행히도, 연구진은 AI에게 "상담"을 해주는 방법, 즉 AI가 자신의 능력을 믿고 공황 상태에 빠지지 않도록 가르치는 방법을 찾아냈으며, 이를 통해 AI를 더 크게 만들거나 더 똑똑하게 만들 필요 없이 문제를 훨씬 더 잘 해결할 수 있게 만들었습니다.

기계 속의 공황 발작

무슨 일이 일어나고 있는지 이해하기 위해, AI를 마라톤 선수라고 상상해 봅시다. 과거에 우리는 러너가 멈춘다면 그것은 경주가 너무 길거나 다리가 너무 지쳤기 때문이라고 생각했습니다. 하지만 이 연구는 때때로 러너가 결승선을 보고 "오 이런, 결승선까지 100마일이나 남았잖아! 난 절대 못 갈 거야!"라고 생각하며 멈춘다는 것을 발견했습니다. 실제로는 결승선이 5마일밖에 남지 않았음에도 말이죠. 러너는 완주할 에너지가 있지만, 내부 지도가 잘못되어 있어서 조기에 포기하는 것입니다.

연구진은 이 아이디어를 **하노이의 탑(Tower of Hanoi)**이라는 고전적인 퍼즐을 사용하여 테스트했습니다. 세 개의 막대와 다양한 크기의 디스크 더미가 있다고 상상해 보세요. 목표는 엄격한 규칙을 따르며 전체 스택을 한 막대에서 다른 막대로 옮기는 것입니다: 한 번에 하나의 디스크만 움직일 수 있으며, 큰 디스크를 작은 디스크 위에 올릴 수 없습니다. 까다로운 점은 디스크가 추가될수록 필요한 이동 횟수가 폭발적으로 증가한다는 것입니다. 디스크가 12개만 되어도 4,000번 이상의 이동이 필요합니다. 연구진은 몇몇 최상위 AI 모델들에게 이 퍼즐을 풀도록 요청했습니다.

여기 충격적인 발견이 있습니다. Claude Sonnet 3.7이나 DeepSeek R1과 같은 많은 똑똑한 모델들이 더 어려운 퍼즐을 푸는 것을 거부했습니다. 하지만 연구진이 왜 거절했는지 자세히 살펴보았을 때, 모델들은 "답을 모르겠다"라고 말하는 것이 아니었습니다. 대신 그들은 "이것은 쓰기에 너무 길다"라거나 "공간이 부족할 것이다"와 같은 말을 하고 있었습니다. 그들은 퍼즐이 실제 제한 범위 내에 있음에도 불구하고, 해결책이 자신의 메모리에 담기에는 너무 클 것이라고 생각하여 포기한 것이었습니다. 연구진은 이를 **컨텍스트 불안(context anxiety)**이라고 부릅니다. 이는 AI가 작업을 완료할 수 없다고 믿어 아예 시도조차 하지 않는 조기 자기 의심의 한 형태입니다.

AI의 잘못된 수학

왜 AI는 그렇게 겁을 먹는 걸까요? 논문은 모델들이 수학, 구체적으로는 해결책이 얼마나 많은 "공간"(또는 토큰)을 차지할지 추측하는 데 서툴기 때문이라고 제안합니다. 연구진은 모델들에게 문제를 해결하는 데 얼마나 많은 단어가 필요할지 추측해 보라고 요청했습니다. 결과는 놀라웠습니다.

불안 증세를 보인 모델들은 필요한 공간을 약 24% 과대평가했습니다. 그들은 100단어짜리 답변이 124단어의 공간을 차지할 것이라고 생각했습니다. 작업이 너무 거대하다고 생각했기 때문에 패닉에 빠져 포기한 것입니다. 반대로, 불안 증세가 없었던 모델들은 약 19% 과소평가했습니다. 그들은 더 낙관적이었고, "헤이, 이건 쉬워!"라고 생각하며 실제로 문제를 풀려고 시도했습니다.

이러한 미스캘리브레이션(miscalibration, 부정확한 조정)은 자기 충족적 예언을 만듭니다. 만약 AI가 어떤 작업이 "너무 커서" 불가능하다고 생각하면 멈춥니다. 만약 작업이 감당할 수 있다고 생각하면 계속 나아갑니다. 연구는 이 불안이 단순한 작은 오류가 아니라 실질적인 결과를 초래한다는 것을 발견했습니다. 모델이 불안해할 때, 문제를 해결하는 정확도가 15% 낮아졌습니다. 더 심각한 것은, 문제를 올바르게 해결했을 때도 그들의 답변은 54% 더 길고 비효율적이었다는 점입니다. 이는 마치 명확하고 짧은 에세이를 쓰는 대신, 충분히 하지 못할까 봐 걱정하며 시간을 낭비하고 종이를 낭비하며 횡설수설하는 긴장한 학생과 같습니다.

AI를 진정시키는 법 가르치기

이 논문의 가장 흥兴奋적인 부분은 연구진이 단순히 문제를 발견한 것이 아니라, 치료법을 찾아냈다는 것입니다. 그들은 물었습니다: 이 불안은 AI 뇌의 영구적인 부분인가, 아니면 덜 긴장하도록 가르칠 수 있는가?

이를 테스트하기 위해 그들은 **지도 미세 조정(Supervised Fine-Tuning, SFT)**이라는 기술을 사용했습니다. 수학을 무서워하는 학생이 있다고 상상해 보세요. 그들에게 더 어려운 수학 문제를 주는 대신, 유사한 문제를 차분하고 자신감 있게 해결한 다른 학생들의 사례를 보여주는 것입니다. 당신은 그들에게 "봐, 너도 당황하지 않고 할 수 있어"라고 말해주는 것입니다.

연구진은 하노이의 탑 퍼즐의 정답 데이터셋을 가져왔지만, 불안의 징후를 보이는 것들은 모두 걸러냈습니다. 그런 다음 오직 이러한 차분하고 자신감 넘치는 사례들로만 새로운 AI 모델을 훈련시켰습니다. 모델에게 새로운 사실을 가르치거나 모델을 더 크게 만든 것이 아니라, 단지 새로운 사고방식을 가르친 것입니다.

결과는 어땠을까요? "치료된" 모델은 놀라웠습니다. 조기에 포기하는 것을 멈췄습니다. 모델은 작업을 완수할 수 있다는 것을 믿게 되었습니다.

• 새로운 모델은 불안감을 50% 이상 줄였습니다.
• 모델은 특히 중간 난이도의 퍼즐을 푸는 데 훨씬 더 뛰어난 능력을 보였습니다.
• 심지어 이 새로운 자신감을 완전히 다른 유형의 퍼즐(그리드 위에서 최단 경로 찾기)로 전이시켜, 이것이 단순히 답을 암기한 것이 아니라 더 나은 전략을 배웠음을 보여주었습니다.

이것이 미래에 의미하는 바

이 논문은 우리가 AI의 성능을 바라보는 방식이 틀렸을 수도 있음을 시사합니다. 우리는 흔-히 AI를 더 좋게 만들기 위해서는 단순히 더 크게 만들거나, 더 많은 데이터를 주거나, 더 똑똑하게 만들어야 한다고 생각합니다. 하지만 이 연구는 때때로 AI는 이미 충분히 똑똑하며, 단지 자신의 자신감을 관리하는 법을 배울 필요가 있다는 것을 시사합니다.

연구진은 "컨텍스트 불안"이 기계 뇌의 물리적 한계가 아니라 행동적 습관이라는 것을 발견했습니다. 모델이 자신의 능력을 정확하게 평가하고 작업이 얼마나 힘든지를 과대평가하는 것을 멈추도록 도움으로써, 우리는 거대한 새로운 슈퍼컴퓨터를 구축할 필요 없이도 AI를 더 신뢰할 수 있고 효율적으로 만들 수 있습니다. 이는 AI에게도 때로는 가장 큰 장애물이 문제 자체가 아니라, 문제에 대한 두려움일 수 있다는 점을 상기시켜 줍니다.

결국, 이 논문은 약간의 "테라피"(이 경우에는 차분한 사례들에 대한 세심한 훈련)를 통해 AI 모델이 패닉을 멈추고, 자신의 기술을 믿고, 이전에는 감히 손대지 못했던 문제들을 해결하는 법을 배울 수 있음을 보여줍니다. 이는 단순히 생각하는 법을 아는 것을 넘어, 상황이 어려워질 때도 계속 나아가는 법을 아는 AI를 구축하기 위한 작지만 강력한 단계입니다.