완벽한 프롬프트의 기술: 제어 이론 이야기

당신이 아주 똑똑하지만 믿을 수 없을 정도로 고집 센 로봇에게 미스터리를 해결하는 법을 가르치려 한다고 상상해 보세요. 이 로봇은 AI이며, '동결(frozen)'된 상태입니다. 즉, 로봇의 두뇌는 돌처럼 굳어 있어 뉴런을 재배선하거나 새로운 사실을 가르칠 수 없습니다. 로봇은 많은 것을 알고 있지만, 당신이 적절한 지침을 주지 않는 한 그 지식을 당신의 특정 퍼즐에 어떻게 사용해야 하는지는 알지 못합니다. 인공지능의 세계에서 이러한 설정을 '에이전트(agent)'라고 부릅니다. 오랫동안 연구자들은 이러한 에이전트를 조종해야 할 기계처럼 취급하며 신뢰할 수 있게 만드는 방법을 연구해 왔습니다. 그들은 자동차의 크루즈 컨트롤 시스템이 일정한 속도를 유지하기 위해 끊임없이 가속 페달을 조절하거나, 온도 조절기가 실내 온도를 쾌적하게 유지하기 위해 열을 조절하는 것과 같은 '제어 이론(control theory)'의 개념을 사용합니다.

이 논문이 다루는 핵심 질문은 이것입니다: 정확히 무엇을 조종해야 하는가? 대부분의 사람들은 로봇이 다음에 무엇을 할지(예: 어떤 도구를 집어 들지) 또는 누구와 대화할지를 제어하려고 노력해 왔습니다. 하지만 이 논문은 진정한 마법이 로봇이 움직이기 전 단계에서 일어난다고 제안합니다. 그것은 바로 '컨텍스트(context)'를 제어하는 것입니다. 즉, 구체적인 지침, 보여주는 예시, 그리고 제공하는 배경 정보의 양을 조mathcal하는 것입니다. 이것은 마치 레시피 북(동결된 AI)을 바꿀 수는 없지만, 완벽한 요리를 만들기 위해 재료, 주방의 조명, 그리고 카운터 위의 메모를 바꿀 수 있는 셰프와 같습니다. 저자들은 이러한 지침들을 실시간으로 가장 잘 설정하는 방법을 자동으로 찾아내는 스마트한 시스템을 구축할 수 있는지, 그리고 그 시스템이 신뢰할 수 있을 만큼 안정적인지 알고 싶어 합니다.

논문의 핵심 아이디어: 로봇이 아닌 설정을 조종하라

2026년 7월 데브죠티 폴(Debjyoti Paul)이 작성한 이 논문은 AI 에이전트를 바라보는 새로운 관점을 제안합니다. AI의 행동을 직접 제어하는 대신, 저자들은 **컨텍스트 어셈블리(context assembly)**를 제어할 것을 제안합니다. 쉽게 말해, 이는 프롬프트의 '설정'을 제어한다는 의미입니다. 즉, 어떤 템플릿을 사용할지, 몇 개의 예시를 보여줄지, 데이터베이스에서 얼마나 많은 정보를 검색할지, 그리고 AI가 자신의 작업을 몇 번이나 검토하게 할지를 결정하는 것입니다.

저자들은 두 부분으로 구성된 시스템을 상상합니다. 첫 번째 부분은 실제로 작업을 수행하는 '동결된' AI 에이전트인 로봇입니다. 두 번째 부분은 로봇 외부에 위치한 '하네스(harness)' 또는 컨트롤러입니다. 이 컨트롤러는 스마트한 학습자( '컨텍스추얼 밴딧(contextual bandit)' 또는 'REINFORCE' 정책과 같은 방법 사용)로서, 최상의 결과를 얻기 위해 다양한 설정을 끊임없이 실험합니다. 이는 배우의 대사(배우는 동결되어 있으므로)를 바꿀 수는 없지만, 배우가 더 잘 연기할 수 있도록 조명, 소품, 스크립트 노트를 바꿀 수 있는 무대 감독과 같습니다.

연구 결과: 현실 점검

저자들은 단순히 이 아이디어를 상상만 한 것이 아니라, 이것이 실제로 작동하는지, 그리고 안정적인지 확인하기 위해 테스트를 진행했습니다. 그들은 컨트롤러가 729개의 서로 다른 가능한 구성(다양한 프로ンプ트 스타일, 도구, 메모리 정책, 검증 단계의 조합) 중에서 선택해야 하는 특정 설정으로 실험을 수행했습니다. 그들은 이 테스트를 60 에피소드(시도) 동안 실행했으며, 서로 다른 시드(seed)에 대해 총 240 에피소드를 수행했습니다.

다음은 그들이 발견한 솔직한 결과입니다:

1. 안정성 테스트 (점점 나아지고 있는가?)
저자들은 컨트롤러가 시간이 지남에 따라 더 나아지는 법을 배우는지, 즉 그들이 '안정성(stability)'이라고 부르는 개념을 확인하고 싶었습니다. 완벽한 세상이라면 컨트롤러의 성능은 학습함에 따라 상승하거나 유지되어야 합니다. 그러나 그들의 데이터는 다른 것을 보여주었습니다. 테스트한 60 에피소드 동안, 성능은 오히려 약간 하락하거나 대부분의 실행에서 정체되었습니다. 네 번의 테스트 실행 중 세 번에서 미세한 음의 기울기가 나타났습니다.

저자들은 이것이 반드시 그들의 아이디어가 실패했다는 뜻이 아니라, 테스트 규모의 한계라고 설명합니다. 729개의 선택지가 있는 상황에서 60 에피소드는 컨트롤러가 요령을 익히기에 너무 짧은 시간이라는 것입니다. 이는 단 며칠 만에 729개의 방대한 언어 도서관을 배우려고 노력하는 것과 같습니다. 충분히 연습하여 숙달할 시간이 부족했던 것입니다. 그들은 300 에피소드(안정성 테스트보다 5배 더 많은 양)를 수행했음에도 불구하고, 동료 논문에서 시스템이 여전히 정적인 사전 설정 베이스라인을 이기지 못했다는 점을 언급했습니다. 결론적으로, 시스템은 현재 '언더샘플링(under-sampled)' 영역에 있습니다. 즉, 이론 자체는 타당할지라도 장기적인 이론을 입증하기에는 샘플 크기가 너무 작다는 것입니다.

2. 신뢰도 테스트 (자신이 추측하고 있다는 것을 아는가?)
두 번째로 그들이 확인한 것은 '불확실성 보정(uncertainty calibration)'입니다. 이는 컨트롤러가 자신이 확신하는지, 아니면 불확실한지를 아는지 묻는 것입니다. 실제 상황에서 AI가 불확실하다면, 인간에게 개입을 요청해야 합니다.

이 결과는 매우 놀랍고 다소 혼란스러웠습니다. 컨트롤러의 '신뢰도' 점수(자신의 선택이 맞을 확률에 기반함)는 약 0.0014로 매우 낮았던 반면, 작업의 실제 성공률은 약 0.64(64%) 및 0.58(58%)로 훨씬 높았습니다. 이는 약 두 자릿수(order of magnitude) 차이가 나는 거대한 격차입니다.

저자들은 이것이 학습의 오류가 아니라 수학적인 문제라고 설명합니다. 선택지가 729개이기 때문에, 단일 옵션을 선택할 확률은 자연스럽게 매우 작습니다(약 1/729, 즉 0.0014). 따라서 컨트롤러는 정답을 골랐을 때조차 항상 '불확실한' 것처럼 보입니다. 이는 만약 이 가공되지 않은 신뢰도 수치를 사용하여 인간에게 도움을 요청할 시점을 결정하려 한다면, 제대로 작동하지 않을 것임을 의미합니다. 즉, 쉬운 작업조차도 매번 인간을 호출하게 될 것입니다. 저자들은 이를 해결하기 위해 (예를 들어, 단순히 생 확률을 보는 대신 상위 두 선택지 사이의 간격을 보는 방식 등으로) 신뢰도 신호를 재보정해야 한다고 제사하지만, 아직 이 해결책을 테스트하지는 않았다고 인정했습니다.

결론

이 논문은 AI 제어 문제를 해결했다고 주장하지 않습니다. 대신, 행동이 아닌 '컨텍스트'를 제어한다는 새로운 사고방식에 대한 매우 구체적이고 정직한 시각을 제공합니다. 저자들은 이 아이디어가 유망하고 독특한 개념이지만, 현재의 실험 결과는 우리가 현실적으로 하루 동안 수집할 수 있는 데이터 양에 비해 가능성의 공간(729개의 구성)이 너무 크기 때문에 벽에 부딪히고 있음을 보여준다고 주장합니다.

저자들은 자신들의 성과를 혁신적이라고 부르는 데 매우 신중합니다. 그들은 명시적으로 자신들의 안정성 결과가 "노이즈가 지배적(noise-dominated)"이며, 신뢰도 신호 또한 추가적인 수정 없이는 "정보를 제공하지 못한다(uninformative)"고 밝히고 있습니다. 그들은 본질적으로 이렇게 말하고 있는 것입니다. "여기 새로운 레버가 있습니다. 하지만 지금 당장은 우리가 이 레버를 완벽하게 다룰 수 있을 만큼 충분히 연습하지 못했고, 현재의 신뢰도 측정 방식은 고장 난 상태입니다." 이는 승리의 선언이라기보다는, 더 많은 데이터와 더 나은 보정 방법이 필요하다는 호출입니다.