거대하고 불가능한 퍼즐을 풀려고 한다고 상상해 보십시오. 당신에게는 두 명의 조력자가 있습니다. 하나는 무엇이든 해결할 수 있지만 생각하는 데 몇 시간이 걸리는 천재이고, 다른 하나는 빠르지만 가끔 실수를 하는 재치 있는 견습생입니다. 오랫동안 이 일을 완수하는 유일한 방법은 천재가 모든 일을 하도록 두는 것이었지만, 이는 느리고 비용이 많이 들었습니다. 최근 과학자들은 새로운 기술을 시도했습니다. 바로 견습생이 생각을 하게 하고, 견습생이 혼란스러워 보일 때만 천재를 부르는 것입니다. 이것을 "모델 협업(model collaboration)"이라고 부릅니다. 이는 완벽해 보이지만, 함정이 있습니다. 때때로 견습생은 실제로 틀렸음에도 불구하고, 자신의 실수에 대해 너무나 확신에 차 있어서 도움을 요청하지 않습니다. 그들은 그저 확신에 찬 채로 잘못된 답의 탑을 계속 쌓아 올리다가 결국 전체를 무너뜨리고 맙니다. COLM 2026 컨퍼런스에서 발표된 이 논문은 이러한 "확신에 찬 오답(confidently wrong)"을 내놓는 견습생 문제를 다룹니다.

연구진인 지아이 티안(Jiayi Tian)과 그 팀은 AI 모델이 실패하기 시작할 때, 단순히 "혼란"을 느끼는 것(이는 포착하기 쉽습니다)이 아니라, 매우 단순하고 반복적인 사고 루프에 빠져 마치 확신에 찬 것처럼 보이지만 실제로는 고장 난 상태가 된다는 것을 발견했습니다. 그들은 소형 모델이 실패하는 세 가지 주요 방식을 찾아냈습니다: 잘못된 답에 과하게 확신하거나, 불확실성에 갇히거나, 혹은 자신의 작업을 끝없이 재검토하며 시간을 낭비하는 것입니다. 이를 해결하기 위해 그들은 RankGuide라는 새로운 시스템을 만들었습니다. RankGuide를 당신이 내뱉는 단어가 아니라, 견습생의 생각의 "모양"을 볼 수 있게 해주는 특수 안경이라고 생각해 보십시오. 생각의 과정이 가진 숨겨진 구조를 살펴봄으로써, RankGuide는 견습생이 궤도를 벗어나기 직전임을 알아챌 수 있습니다. 이 시스템은 두 가지 일을 합니다. 첫째, 견습생의 생각이 올바른 경로를 유지하도록 부드럽게 유도하고(steering), 둘째, 너무 많은 시간이 낭비되기 전에 견습생을 멈추고 천재를 호출하는 법(routing)을 정확히 알고 있습니다. 그 결과, 이 시스템은 천재 혼자 일할 때보다 훨씬 빠르게 수학, 코딩, 과학 문제를 해결하면서도 정확도를 잃지 않습니다.

문제점: 확신에 찬 오답을 내놓는 견습생

대규모 추론 모델(LRM)의 세계에는 복잡한 문제를 단계별 사고(chain of reasoning)로 나누어 해결할 수 있는 거대한 AI 뇌들이 있습니다. 하지만 이들은 느리고 많은 컴퓨터 자원을 사용합니다. 속도를 높이기 위해 연구자들은 더 작고 빠른 모델(SRM)이 힘든 일을 처리하게 하고, 상황이 까다로워질 때만 큰 모델을 호출하는 방식을 사용하기 시작했습니다.

아이디어는 좋았지만 결함이 있었습니다. 기존 방식들은 소형 모델이 얼마나 "불확실"하게 들리는지를 듣고 모델이 어려움을 겪고 있는지 감지하려 했습니다. 만약 모델이 확신이 없어 보이면, 시스템은 큰 모델을 호출했습니다. 그러나 저자들은 이것만으로는 충분하지 않다는 것을 발견했습니다. 그들은 소형 모델이 **과잉 확신 오류(overconfident errors)**를 생성한다는 것을 발견했습니다. 모델은 완전히 틀렸음에도 불구하고 전적으로 확신에 차서 말할 수 있습니다. 만약 당신이 불확실성만을 감시한다면, 이러한 확신에 찬 실수를 놓치게 되고, 시스템은 잘못된 모델을 계속 작동시켜 시간을 낭비하고 오답을 얻게 됩니다.

발견: 생각의 "모양"을 보다

이 현상이 왜 발생하는지 이해하기 위해, 팀은 단순히 출력되는 텍스트를 읽는 대신 모델의 "두뇌"(숨겨진 상태) 내부를 들여다보았습니다. 그들은 모델의 생각 구조를 보기 위해 **텐서 분해(tensor decomposition)**라는 수학적 도구를 사용했습니다. 모델의 사고 과정을 3D 데이터 블록이라고 상상해 보십시오. 모델이 올바르게 생각할 때, 이 블록은 복잡하고 풍부합니다. 하지만 모델이 실패하기 시작하면, 이 블록은 매우 평평하고 단순한 모양으로 붕괴됩니다.

그들은 세 가지 구체적인 실패 모드를 식별했습니다:

1. 과잉 확신(Overconfidence): 모델이 틀렸음에도 자신이 맞다고 생각함.
2. 불확실성(Uncertainty): 모델이 진정으로 막혀 있음.
3. 과도한 재검증(Heavy Re-validation): 모델이 문제를 해결하는 대신 문제를 해결하지 못한 채 똑같은 문장을 계속 다시 읽는 학생처럼, 자신의 작업을 끊임없이 반복해서 확인하며 시간을 낭비함.

결정적으로, 그들은 이러한 "붕괴된" 생각들이 낮은 "랭크(rank, 복잡도를 나타내는 척도)"를 가진다는 것을 발견했습니다. 모델이 확신에 차서 말할지라도, 내부 구조는 단순하고 망가져 있습니다. 이것이 핵심 통찰입니다: 숨겨진 생각의 복잡도가 낮다는 것은, 모델이 확신에 차 있더라도 잘못된 답을 내놓고 있다는 의미입니다.

해결책: RankGuide

팀은 이 "랭크" 신호를 사용하여 모델 팀을 관리하는 RankGuide를 구축했습니다. 이 시스템은 두 가지 영리한 방식으로 작동합니다.

1. 스티어링(Steering): 부드러운 유도
모델이 문제를 풀기 시작하기 전에, RankGuide는 "스티어링 벡터"를 준비합니다. 이것을 나침반이라고 생각하십시오. 팀은 수천 개의 사례를 분석하고 모델의 생각이 "붕괴된"(낮은 랭크) 사례들을 걸러냈습니다. 그들은 고품질의 복잡한 사례들만을 사용하여 올바른 추론을 향하는 벡터를 만들었습니다. 실제 문제를 푸는 동안, 이 벡터를 모델의 두뇌에 주입합니다. 이는 마치 견습생에게 미세한 자극을 주어 생각이 복잡성을 유지하고 궤도를 벗어나지 않도록 하여, 반복적인 낮은 랭크의 재검토 루프에 빠지는 것을 방지하는 것과 같습니다.

2. 라우팅(Routing): 스마트한 전환
모델이 작업하는 동안, RankGuide는 지속적으로 생각의 "랭크"를 체크합니다.

• 만약 생각이 높은 랭크(복잡하고 풍부함)라면, 소형 모델이 계속 진행합니다.
• 만약 생각이 낮은 랭크(붕괴됨)이거나 모델이 너무 불확실하게 들린다면, RankGuide는 즉시 소형 모델을 중단시키고 큰 모델(LRM)을 호출하여 업무를 인계합니다.
• 또한 안전장치가 있습니다. 만약 모델이 낮은 랭크의 "붕괴된" 상태로 너무 오래 머물러 있다면, RankGuide는 시간을 낭비하며 헛돌게 두는 대신 프로세스를 즉시 차단합니다.

결과: 더 빠르고 더 똑똑하게

팀은 수학 문제, 코딩 작업, 과학 질문이라는 세 가지 어려운 분야에서 RankGuide를 테스트했습니다. 결과는 인상적이었습니다.

• 속도: RankGuide는 큰 모델만 단독으로 사용할 때보다 최대 1.75배 더 빨랐습니다. 다른 스마트한 라우팅 방식들과 비교했을 때도 1.36배 더 빨랐습니다.
• 정확도: 더 빠름에도 불구하고, 큰 모델과 동일한 높은 정확도를 유지했습니다. 어떤 경우에는 다른 방식들이 놓친 확신에 찬 실수들을 잡아냄으로써 오히려 정확도를 개선하기도 했습니다.
• 효율성: 소형 모델이 생성하는 단계 자체가 줄어들었습니다. 예를 들어, 수학 문제에서 RankGuide는 전체 단계를 약 19% 줄였고, "재검토"에 소비되는 시간을 40% 이상 단축했습니다.

저자들은 생각의 표면적인 단어가 아닌 숨겨진 구조(텐서 랭크)를 살펴봄으로써, 매우 빠르면서도 믿을 수 있을 만큼 똑똑한 AI 시스템을 구축할 수 있다고 제안합니다. 이는 단순히 빠르게 생각하는 것이 아니라, '제대로' 생각하는 AI를 향한 한 걸음입니다.