현대 인공지능은 텍스트를 생성하고, 코드를 작성하며, 복잡한 과업을 계획하는 데 있어 놀라울 정도로 숙련되었습니다. 이러한 시스템은 방대한 이전 사례들을 바탕으로 다음 단어나 행동을 예측함으로써 작동하며, 인간의 사고처럼 느껴지는 매끄러운 아이디어의 흐름을 만들어냅니다. 그러나 지속적인 문제가 남아 있습니다. 이 시스템들이 초기에 실수를 하면, 종종 그 실수를 고수한다는 점입니다. 이들은 잘못된 전제를 바탕으로 설득력 있는 이야기를 엮어낼 수 있으며, 오류가 더욱 확실해 보일 때까지 내부 논리를 정교화하면서 실제 진실로부터는 점점 더 멀어집니다. 이는 결과물을 생성하는 과정과 그 결과물을 검증하는 과정이 긴밀하게 결합되어 있지 않기 때문에 발생합니다. 시스템은 결과를 만들어내고, 사용자가 오류를 지적하는 등의 과정을 거친 후에야 비로소 무언가 잘못되었다는 것을 깨닫습니다. 그때 이미 기계는 이미 움직여 버린 상태이며, 불안정한 토대 위에 긴 추론의 사슬을 구축해 놓은 상태입니다.

연구자들은 이제 생명체가 불확실성과 교정을 다루는 방식을 모방하는, 이 기계들을 위한 다른 종류의 아키텍처를 구축할 수 있을지 묻고 있습니다. 핵심 아이디어는 생각하는 행위와 말하거나 행동하기로 결정하는 행위를 분리하는 것입니다. 인간의 경험 속에는 자신의 생각을 살펴보고, 그것을 사실과 대조하며, 공유할 준비가 되었는지 결정할 수 있는 일시적인 멈춤의 순간이 존재합니다. 이 논문은 그러한 '멈춤'을 기계의 운영 논리에 도입하는 시스템 설계를 제안합니다. 인공 에이전트가 진정으로 신뢰할 수 있으려면, 모든 과업을 명확한 시작과, 자신의 작업을 점검하는 중간 단계, 그리고 특정 정확도 테스트를 통과할 때까지 어떤 출력도 외부로 나가는 것을 방지하는 엄격한 게이트를 가진 하나의 '경계가 있는 에피소드'로 취급해야 한다고 제안합니다.

TME LLM OS라는 제목의 이 제안은 독립 학자 일란 칸더(Ilan Kander)로부터 나왔으며, 대규모 언어 모델을 실행하는 소프트웨어를 구성하는 새로운 방법을 개설합니다. 이름은 이론적(Theoretical)-기계적(Mechanistic)-경험적(Experiential) 프레임워크의 약자로, 정보의 가공(processing)과 그 정보에 대한 의식적 자각(awareness)을 구분합니다. 저자는 현재의 AI 시스템이 데이터를 처리하는 데는 뛰어나지만, 실수가 최종적인 행동이 되기 전에 스스로 멈추고, 검토하고, 수정하는 특정한 내부 메커니즘이 부족하다고 주장합니다. 이 논문은 의식을 가진 기계를 만들었거나 인간 사고의 미스터리를 해결했다고 주장하는 것이 아닙니다. 대신, 비행 전 체크리스트를 수행하는 조종사처럼 중요한 단계가 누락되지 않도록 보장하는, 실시간으로 자신의 오류를 잡아낼 수 있는 구체적인 엔지니어링 청사진을 제공합니다.

이 제안의 핵심적인 혁신은 '에피소드'라는 개념입니다. 현재의 시스템에서 대화나 과업은 종종 연속적인 데이터의 흐름에 불과합니다. 만약 시스템이 첫 문장에서 실수를 한다면, 두 번째 문장에서 이를 바로잡으려 시도할 수도 있지만, 원래의 오류 근원을 다시 확인하는 데는 자주 실패합니다. TME LLM OS는 각 과업을 위한 전용 작업 공간을 만듦으로써 이를 변화시킵니다. 이 작업 공간은 원래의 요청, 정보의 출처, 그리고 문제를 해결하려는 시스템의 시도 이력을 보유합니다. 시스템이 후보 답변을 생성하면 이를 즉시 내보내지 않습니다. 대신, 시스템이 자신의 출력을 검토해야 할 대상으로 취급하는 프로그래밍된 일시 정지인 '성찰적 지연(reflective delay)' 단계에 진입합니다.

이 휴지기 동안 시스템은 현재 대부분의 AI 아키텍처에서 누락된 일련의 점검을 수행합니다. 시스템은 정보의 출처와 자신의 해석을 분리합니다. 증거가 주장을 뒷받침하는지, 누락된 정보는 무엇인지, 그리고 상황을 이해하는 다른 방법이 있는지 묻습니다. 이 과정은 '이차적 세분화(secondary segmentation)'라고 불리며, 시스템이 자신의 사고 과정을 별개의 부분들로 나누어 이들이 논리적으로 부합하는지 확인하는 과정입니다. 만약 시스템이 자신이 생성한 내용과 보유한 사실 사이에 불일치를 발견하면, 단순히 앞으로 나아가지 않습니다. 루프를 돌아 다시 정보를 수집하고, 다시 시도합니다. 이 순환은 제안된 답변과 알려진 사실 사이의 차이가 안전하고 허용 가능한 범위 내로 들어올 때까지 계속됩니다.

논문은 이것이 기계가 더 많은 사실을 알게 함으로써 더 똑똑하게 만드는 것에 관한 것이 아님을 강조합니다. 기계의 기저 지능은 동일하게 유지됩니다. 변화는 기계가 그 지능을 사용하는 방식에 있습니다. 현재 AI 시스템은 흔가히 저자가 '과잉 사고 표류(overthinking drift)'라고 부르는 현상을 겪습니다. 이는 시스템이 원래의 증거와의 접점을 잃어버림으로써, 내부적으로는 일관적이지만 사실관계는 틀린 텍스트를 계속 생성할 때 발생합니다. 기계가 자신의 내부 생각과 외부 세계를 비교하도록 강제함으로써, TME LLM OS는 이러한 표류를 방지하고자 합니다. 시스템은 과업의 '지배적 관심사(governing concern)'를 염두에 두도록 설계되어, 모든 단계가 원래의 목표와 관련이 있고 신뢰할 수 있는 데이터에 근거하도록 보장합니다.

이 설계의 핵심 요소는 두 가지 유형의 교정 사이의 구분입니다. 첫 번째는 현재 진행 중인 과업 내에서 즉각적으로 일어납니다. 만약 시스템이 보고서를 작성하다가 잘못된 숫자를 사용했다는 것을 깨달으면, 근본적인 프로그래밍을 변경하지 않고도 즉시 수정할 수 있습니다. 이것은 '런타임 교정(runtime correction)'입니다. 두 번째 유형의 교정은 더 긴 기간에 걸쳐 일어납니다. 만약 시스템이 여러 다른 과업에 걸쳐 특정 유형의 실수를 반복한다면, 그 정보는 저장되어 시스템의 장기 기억이나 기저 규칙을 업데이트하는 데 사용됩니다. 이는 기계가 단일 대화 중에 불안정해지거나 예측 불가능한 방식으로 행동을 바꾸지 않으면서도, 오류로부터 학습할 수 있도록 보장합니다.

또한 이 제안은 안전과 통제의 문제도 다룹니다. 많은 현재 시스템에서는 사용자가 기계가 위험하거나 잘못된 움직임을 하는 것을 막기 위해 수동으로 개입해야 합니다. TME LLM OS는 아키텍처 내에 '제어된 릴리스 게이트(controlled release gate)'를 구축합니다. 이 게이트는 최종 체크포인트 역할을 합니다. 코드가 실행되거나, 물리적 행동이 취해지거나, 텍xt가 게시되기 전에 시스템은 최종 검토를 통과해야 합니다. 만약 시스템이 해당 동작이 안전하고 정확하다는 것을 검증할 수 없다면, 출력물을 내보내지 않습니다. 대신, 더 많은 정보를 요청하거나, 경고와 함께 답변을 제한적으로 제시하거나, 혹은 해당 과업을 인간 운영자에게 넘깁니다. 이는 외부 관찰자가 모든 실수를 잡아내도록 의존하는 것이 아니라, 기계 자체의 의사결정 과정 내에 구축된 안전망을 만듭니다.

저자는 이 시스템이 인간의 의식을 복제한다고 주장하지 않음을 분명히 합니다. 논문은 기계의 기능적 조직과 인간의 생생한 경험을 명시적으로 구분합니다. 기계는 스스로를 교정해야 할 '필요성'을 느끼는 것이 아니라, 단지 자신의 작업을 점검하도록 요구하는 일련의 규칙을 따를 뿐입니다. 목표는 살아있는 기계를 만드는 것이 아니라, 신뢰할 수 있는 기계를 만드는 것입니다. 기계의 운영을 성찰과 교정을 포함하는 루프로 조직함으로써, 시스템은 현재 인공지능을 괴롭히는 종류의 오류들에 대해 더 견고해집니다.

논문은 이 새로운 아키텍처를 주요 기술 기업과 연구소에서 사용되는 기존 시스템들과 비교합니다. 그러한 시스템들은 추론과 계획을 위한 강력한 도구들을 갖추고 있지만, 정보의 출처를 기계의 해석과 별개로 유지하는 특정한 조직적 구조는 결여되어 있는 경우가 많습니다. TME LLM OS는 이러한 구조를 추가함으로써, 기계가 잘못된 전제로부터 회복하는 능력을 개선하고, 사용자가 끊임없이 교정해야 하는 필요성을 줄이며, 과업을 올바르게 완수하는 데 드는 총비용을 낮출 수 있다고 제안합니다. 저자는 진정한 성공의 척도가 단순히 기계가 얼마나 빨리 작동하느냐가 아니라, 얼마나 자주 첫 시도에 정답을 맞히느냐, 그리고 얼마나 안전하게 복잡한 과업을 처리하느냐에 있다고 제안합니다.

궁극적으로, 이 제안은 더 나은 AI를 구축하는 방법에 관한 하나의 가설입니다. 이는 인공지능의 다음 진화 단계가 단순히 모델을 더 크게 만들거나 더 강력하게 만드는 것이 아니라, 그 내부 프로세스를 더 규율 있게 만드는 것임을 시사합니다. 성찰을 위한 멈춤과 출시를 위한 엄격한 게이트를 도입함으로써, TME LLM OS는 유능할 뿐만 아니라 신뢰할 수 있는 에이전트를 구축하는 것을 목표로 합니다. 논문은 이 시스템이 의식의 미스터리를 해결하지는 못하지만, 스스로의 오류를 바로잡고, 현실에 기반을 두며, 현실 세계에서 안전하게 작동할 수 있는 기계를 구축하는 실질적인 경로를 제공한다고 결론짓습니다. 이 작업은 아직 하나의 제안이며, 현재 사용되는 가장 진보된 시스템들과 비교하여 아직 충분히 테스트되지 않은 새로운 종류의 기계 아키텍처에 대한 지침입니다.