The Laws of Context Allocation: Causal Measurement and Closed-Loop Orchestration in Generative Search

현대의 디지털 환경에서 검색 엔진은 단순한 문서 라이브러리에서 답변을 합성하는 대화형 파트너로 진화했습니다. 이러한 변화는 검색 증강 생성(retrieval-augmented generation)이라는 기술에 의존하는데, 이는 컴퓨터 시스템이 먼저 방대한 데이터베이스에서 관련 문서를 찾은 다음, 이를 거대 언어 모델에 입력하여 답변을 구성하도록 하는 방식입니다. 수년 동안 지배적이었던 가정은 복잡한 질문에 답하기 위해 컴퓨터를 돕는 가장 좋은 방법은 가능한 한 많은 정보를 한꺼번에 제공하는 것이었습니다. 그 논리는 타당해 보였습니다. 인간이 주제를 이해하기 위해 많은 페이지를 읽는다면, 기계가 답변하기 위해서도 방대한 양의 텍스트 블록을 한 번에 읽어야 한다는 것이었습니다. 그러나 이 접근 방식은 기계가 인간과 똑같이 정보를 처리한다고 가정하며, 이 인공 지능의 마음이 실제로 작동하는 방식에 담긴 결정적인 결함을 간과합니다. 질문이 모호하거나 광범위한 사실을 필요로 할 때, 단순히 엄청난 양의 텍스트를 기계의 '마음'에 쏟아붓는 것은 종종 혼란을 야기하여 중요한 세부 사항을 놓치거나 내용을 반복하게 만듭니다. 연구자들에게 주어진 과제는 기계에게 정보의 거대한 단일 투여량을 줄 것인가, 아니면 동일한 양의 정보를 여러 차례에 걸쳐 전달되는 작고 집중된 투여량으로 나눌 것인가였습니다.

베이징 대학교와 텐센트의 연구팀은 이 퍼즐을 풀기 위해 나섰지만, 그들은 먼저 자신들이 고장 난 자를 가지고 작업하고 있다는 사실을 깨달았습니다. 기계가 주어진 정보를 어떻게 사용하는지 이해하기 위해서는, 모델이 답변을 형성하는 데 실제로 어떤 부분의 텍스트에 의존했는지를 정확히 측정할 방법이 필요했습니다. 업계에서 사용하던 표준적인 방법들은 학생의 에세이를 그들이 소스 자료와 얼마나 많은 단어를 공유하는지로 평가하는 것과 같았습니다. 이러한 방법들은 소스 자료에 비슷하게 들리지만 무관한 사실들이 많이 포함되어 있을 때 처참하게 실패했습니다. 연구진은 진단용 프로브 역할을 하는 더 정밀한 새로운 도구를 개발했습니다. 단순히 최종 답변을 보는 대신, 그들은 입력값에서 한 번에 하나의 정보 조각을 조용히 제거하며 답변이 변하는지 테스트했습니다. 특정 문장을 제거했을 때 답변이 바뀐다면, 그들은 그 정보 조각이 진정으로 필수적이라는 것을 알 수 있었습니다. 이 엄격한 방법을 통해 그들은 이 분야의 만연한 환상을 발견했습니다. 이전 연구들은 기계가 모든 것을 이해하는 것처럼 보이는 쉬운 테스트 케이스들에 속아 왔으며, 어렵고 현실적인 시나리오에 직면했을 때 그 오래된 측정 도구들은 무너져 내려, 기계가 실제로 무엇을 사용했는지와 무엇을 단순히 무시했는지를 구분하는 데 실패했습니다.

주의력을 측정할 신뢰할 수 있는 방법을 갖춘 후, 연구진은 기계의 제한된 컴퓨팅 자원을 어떻게 할당할 것인가라는 핵심 질문으로 눈을 돌렸습니다. 그들은 고정된 문서 풀을 가져와 두 가지 다른 방식으로 배분하는 대규모 실험 시리즈를 수행했습니다. 한 시나리오에서는 모든 문서를 단일한 넓은 프롬프트로 기계에 입력하여, 기계가 한 번에 모든 것을 흡수하기를 기대했습니다. 다른 시나리오에서는 기계에 정확히 동일한 총 문서 수를 제공하되, 이를 여러 개의 별도이고 작은 상호작용으로 나누어 전달했습니다. 결과는 극명하고 직관에 반했습니다. 방대한 양의 텍스트를 한 번에 입력하는 전략은 높은 한계점에 부딪혔습니다. 텍스트 더미가 커질수록 단일 증거에 집중하는 기계의 능력은 희석되었고, 결국 기계는 압도되어 전체 그림을 회수하지 못하게 되었습니다. 반면, 정보를 더 작고 순차적인 라운드로 나누는 접근 방식은 기계가 훨씬 더 넓은 범위를 다룰 수 있게 해주었습니다. 증거를 집중적인 폭발(bursts) 형태로 반복적으로 처리함으로써, 시스템은 사실을 회상하는 능력이 극적으로 향상되었으며, 단일 패스(single-pass) 방식에 비해 16.8에서 20.5 퍼센트 포인트 더 높은 커버리지를 달al성했습니다. 이 이점은 훨씬 더 크고 강력한 모델들을 대상으로 테스트했을 때도 유효했으며, 이는 한계가 컴퓨팅 파워의 부족이 아니라, 모든 것을 동시에 처리하려는 전략의 근본적인 결함임을 입증했습니다.

연구진은 이러한 발견을 실전에 적용하기 위해, 기계에게 목록을 주고 스스로 알아내도록 내버려 두는 기존의 '오픈 루프(open-loop)' 스타일에서 벗어나 새로운 시스템 아키텍처를 구축했습니다. 그들의 새로운 시스템은 자신의 작업을 끊임없이 확인하는 '클로즈드 루프(closed loop)' 방식으로 작동합니다. 기계가 응답을 생성한 후, 시스템은 진단용 프로브를 사용하여 어떤 사실이 실제로 사용되었고 어떤 것이 무시되었는지 확인합니다. 그런 다음 이 피드백을 사용하여 다음에 기계에 무엇을 보여줄지 결정하며, 이미 처리한 정보로부터 기계를 능동적으로 유도하고 새롭고 탐구되지 않은 사실을 향하도록 조종합니다. 기계가 이미 알고 있는 것을 반복하는 데 갇히지 않도록 하기 위해, 그들은 기계의 주의력을 새로운 증거 쪽으로 부드럽게 밀어붙여 익숙한 패턴에 머물려는 자연스러운 경향을 덮어쓰는 메커니즘을 추가했습니다. 이러한 스마트한 스케줄링과 능동적인 가이드의 결입은 시스템이 입력을 다양화하기 위해 복잡한 수학적 공식을 사용하는 방식들을 포함하여 그들이 테스트한 모든 방법을 능가하게 했습니다. 이 시스템은 시간을 들여 단계별 프로세스에 의도적으로 투자하는 것이, 단 한 번의 거대한 답변을 서두르는 것보다 기계가 이전에 불가능하다고 생각되었던 수준의 포괄적인 이해를 달성할 수 있음을 증명했습니다.

궁극적으로, 이 연구는 우리가 인공지능 검색을 어떻게 생각해야 하는지를 재정의합니다. 이는 더 나은 답변으로 가는 길이 반드시 모델을 더 크게 만들거나 한 번에 더 많은 텍스트를 먹이는 것이 아니라, 정보를 소비하는 리듬을 바꾸는 것에 달려 있음을 보여줍니다. 연구진은 복잡한 과업을 위해 가장 효과적인 전략은 기계가 작고 관리 가능한 덩어리로 증거를 탐구하도록 유도되는, 느리고 반복적인 프로세스에 투자하는 것임을 확립했습니다. 이 접근 방식은 검색 과정을 정적인 데이터 덤프에서 동적이고 피드백 중심적인 대화로 변모시키며, 기계가 한 번에 하나의 집중된 단계를 통해 진실의 완전하고 정확한 그림을 구축하도록 보장합니다.