당신이 가장 좋아하는 초지능 로봇 비서가 집을 짓거나, 미식 요리를 만들거나, 혹은 미스터리를 해결하려고 노력하는 세상을 상상해 보세요. 이 일을 하기 위해서 로봇은 단순히 생각만 해서는 안 되며, 도구를 잡아야 합니다. 디지털 망치, 가상 렌치, 혹은 첨단 오븐이 필요할 수도 있습니다. 하지만 여기 함정이 있습니다. 로봇은 누군가 매뉴얼을 제공해주지 않으면 그 도구들을 어떻게 사용하는지 알지 못합니다. 인공지능의 세계에서 이러한 "로봇"들은 LLM(대규모 언어 모델) 에이전트라고 불리며, "매뉴얼"은 도구 문서(tool documentation)입니다. 오랫동안 과학자들은 이 에이전트들을 더 똑똑하게 만드는 가장 좋은 방법이 더 나은 두뇌를 주거나 도구를 더 빨리 찾는 법을 가르치는 것이라고 생각했습니다. 그들은 매뉴얼을 고정되어 변하지 않는 규칙 책으로 취급했습니다. 하지만 만약 문제가 로봇의 두뇌가 아니라, 매뉴얼이 로봇이 완전히 이해하지 못하는 언어로 작성되었거나, 성공에 필요한 결정적인 한 단계를 놓치고 있는 것이라면 어떨까요?

이것이 바로 푸단 대학교(Fudan University)의 연구팀이 해결하고자 했던 퍼즐입니다. 그들은 단순하지만 심오한 질문을 던졌습니다: 우리가 도구 매뉴얼을 쓰는 방식이 실제로 중요한가, 그리고 모든 로봇에게 통하는 "원사이즈(one-size-fits-all)" 매뉴얼이 존재하는가? 이를 알아내기 위해 그들은 단순히 추측하는 대신 대규모 실험을 수행했습니다. 그들은 수천 개의 도구를 조사하고 다양한 유형의 AI 에이전트에 서로 다른 버전의 매뉴얼을 적용해 보았습니다. 그들이 발견한 것은 놀라웠습니다: 단 하나의 완벽한 매뉴얼은 존재하지 않는다는 것이었습니다. 한 로봇의 성공을 돕는 매뉴얼이 다른 로봇에게는 혼란을 줄 수 있습니다. "요리" 작업에서 도움이 되는 세부 사항이 "코딩" 작업에서는 방해 요소가 될 수 있습니다. 이 때문에 그들은 DOCSCHISEL이라는 새로운 시스템을 구축했습니다. 이것을 초지능 편집가라고 생각해보세요. 이 편집가는 로봇이 시도하고 실패하는 과정을 지켜본 뒤, 매뉴얼에서 혼란스러운 부분을 깎아내고(chisel away) 빠진 조각들을 추가하여, 해당 로봇과 특정 작업에 맞게 지침을 맞춤 제작합니다. 연구 결과에 따르면, 이렇게 함으로써 로봇들은 작업을 완수하는 능력이 훨씬 더 향상되었습니다.

문제점: "원사이즈" 매뉴얼은 맞지 않는다

당신이 새로운 친구에게 복잡한 비디오 게임 컨트롤러 사용법을 가르치고 있다고 상상해 보세요. 당신은 "A를 누르면 점프합니다"라고 적힌 가이드를 쓸 수 있습니다. 하지만 만약 친구가 레이싱 게임을 하고 있다면, "A를 누르면 가속합니다"라는 것을 알아야 할 수도 있습니다. 만약 두 게임 모두에 동일한 일반적인 가이드를 준다면, 친구는 자동차를 충돌시키거나 절벽 아래로 떨어질 것입니다.

오랫동안 AI 에이전트를 구축하는 연구자들은 도구 문서가 정적인 사전와 같다고 가정했습니다. 그들은 "사전을 더 짧거나 깔끔하게 만들기만 하면 AI가 더 잘 이해할 것"이라고 생각했습니다. 이전의 시도 중 일부는 이 매뉴얼들을 아주 작고 깔끔한 요약본으로 압축하려 했고, 다른 이들은 이를 더 표준화된 방식으로 다시 쓰려고 했습니다. 하지만 이 논문의 연구자들은 무언가 빠져 있다는 것을 깨달았습니다: 그들은 매뉴얼을 그저 약간의 광택만 내면 되는 완벽한 것으로 취급하고 있었습니다. 그들은 매뉴얼의 내용—즉, "이것을 어떻게 사용하는가", "실수하면 어떻게 되는가", 또는 "출력값이 무엇인가"와 같은 구체적인 정보 필드들이 실제 핵심이며, 서로 다른 AI 에이전트에게는 서로 다른 열쇠가 필요할 것이라고 의심했습니다.

탐정 작업: 매뉴얼에는 무엇이 들어있는가?

그들의 이론을 테스트하기 위해 연구팀은 디지털 탐정 역할을 수행했습니다. 그들은 14개의 서로 다른 데이터셋에서 추출한 24,955개의 도구로 구성된 거대한 컬렉션을 모았습니다. 이 도구들은 이메일 및 캘린더 관리부터 데이터 분석, 심지어 소프트웨어 버그 수정에 이르기까지 모든 분야를 다루었습니다. 그들은 매뉴얼에 실제로 어떤 종류의 정보가 포함되어 있는지 확인하고 싶었습니다.

그들은 무질서하고 일관성 없는 상태를 발견했습니다. 어떤 매뉴얼에는 "사용 가이드(Usage Guidance)" 섹션이 있었지만, 어떤 곳에는 없었습니다. 어떤 곳은 "입력 파라미터 이름(Input Parameter Name)"(사용자가 입력하는 것)을 나열했지만, 어떤 곳은 이를 생략했습니다. 그들은 매뉴얼에 포함될 수 있는 17가지 유형의 정보 필드를 식별했습니다. 모든 데이터셋에서 공통적으로 나타난 유일한 두 가지 필드는 "도구 이름(Tool Name)"과 "기능 설명(Functionality Description)"(도구가 하는 일)뿐이었습니다. 나머지는 제각각이었습니다.

하지만 진짜 놀라운 점은 이러한 서로 다른 필드들이 AI의 성능에 어떤 영향을 미치는지 테스트했을 때 나타났습니다. 그들은 표준적인 도구 세트를 가져와서 정보 필드를 "추가하거나 삭제하는" 놀이를 시작했습니다. 예를 들어, 매뉴얼에서 "사용 가이드"를 제거하고 AI가 실패하는지 확인한 뒤, 다시 그것을 추가하여 성공하는지 확인했습니다.

결과는 엄청났습니다. 동일한 정보가 어떤 상황에서는 영웅이 되고, 다른 상황에서는 악당이 될 수 있었습니다.

• 한 AI 모델의 경우, 특정 필드를 제거하면 실패율이 10% 높아질 수 있었습니다.
• 다른 AI 모델의 경우, 바로 그 동일한 필드를 제거했을 때 오히려 성공률이 높아질 수 있었습니다. 왜냐하면 추가적인 텍스트가 모델을 혼란스럽게 만들었기 때문입니다.
• "데이터 분석" 작업에서는 특정 필드가 매우 중요할 수 있었습니다.
• "이메일 관리" 작업에서는 그 동일한 필드가 아무런 쓸모 없는 소음(noise)이 될 수 있었습니다.

연구진은 평균적으로 단 하나의 정보 조각을 추가하거나 제거하는 것만으로도 AI의 성공률이 6.34 퍼센트 포인트 변화한다는 것을 발견했습니다. 이는 고정되고 변하지 않는 매뉴얼은 나쁜 아이디어라는 것을 증명했습니다. "ReAct" 에이전트(단계별로 생각하는 로봇)에게 효과적인 것이 "멀티 에이전트(Multi-Agent)" 시스템(함께 일하는 로봇 팀)에는 효과적이지 않을 수 있습니다.

해결책: 적응형 편집기, DOCSCHISEL

고정된 매뉴얼이 작동하지 않기 때문에, 연구팀은 DOCSCHISEL(적응형 도구 문서 최적화 프레임워크)을 구축했습니다. DOCSCHISEL을 AI 에이전트 옆에 앉아 작업하는 데 지칠 줄 모르는, 매우 관찰력이 뛰어난 편집가라고 생각해보세요.

작동 방식은 다음과 같습니다:

1. 감시하는 눈: 먼저, DOCSCHISEL은 AI 에이전트가 편집되지 않은 원래의 매뉴얼을 사용하여 업무를 수행하도록 둡니다. 그리고 에이전트가 실패할 때마다 주의 깊게 관찰하고 기록합니다.
2. 진단: 에이전트가 실패하면, DOCSCHISEL은 "실패한 트레이스(failed trace)"—즉, 무엇이 잘못되었는지에 대한 디지털 발자국—를 살펴봅니다. 그리고 AI(진단 모델)에게 왜 실패했는지 묻습니다. 매뉴얼이 특정 입력을 요구한다는 것을 말해주지 않았기 때문인가요? 아니면 예시가 혼란스러웠기 때문인가요?
3. 기억: 이것이 핵심 비법입니다. DOCSCHISEL은 과거에 무엇이 잘못되었는지에 대한 "기억"을 유지합니다. 만약 "사용 가이드 누락"이 "이메일" 도메인에서 실패를 일으켰다면, 다음번에 같은 도메인의 도구를 다룰 때도 그것을 기억합니다. 즉, 실수를 통해 배웁니다.
4. 조각하기(The Chisel): 진단과 기억을 바탕으로, DOCSCHISEL은 매뉴얼의 특정 부분을 추가(Add), 제거(Remove) 또는 **개선(Refine)**하기로 결정합니다.
   • 추가: "로봇이 비밀번호가 필요하다는 것을 몰랐으니, '필수 입력' 필드를 추가하자."
   • 제거: "로봇이 긴 코드 스니펫 때문에 혼란스러워하니, 이를 삭제하자."
   • 개선: "지침이 모호하니, 더 명확하게 만들자."
5. 테스트: 그런 다음 편집된 새로운 매뉴얼을 테스트합니다. 에이전트가 더 자주 성공한다면 좋습니다! 만약 새로운 매뉴얼 때문에 에이전트가 기존에 수행하던 작업에서 실패한다면, DOCSCHISEL은 물러나야 한다는 것을 알고서 원래대로 돌립니다. 가장 좋은 버전의 매뉴얼을 유지하고 다음 도구로 넘어갑니다.

결과: 거대한 도약

연구팀은 DOCSCHISEL을 두 가지 최고 수준의 다른 방법(EASYTOOL 및 DRAFT) 및 원본 편집되지 않은 매뉴얼과 비교 테스트했습니다. 결과는 경이로웠습니다.

• 원본 매뉴얼과 비교했을 때: DOCSCHISEL은 AI의 작업 성공률을 95.89% 향상시켰습니다. 이는 로봇의 업무 완수 능력이 거의 두 배로 늘어났음을 의미합니다.
• 다른 스마트한 방법들과 비교했을 때: 평균적으로 DOCSCHISEL은 차순위 접근 방식보다 75.15% 더 우수했습니다.
• 일관성: 이 시스템은 단 한 종류의 로봇이나 작업에만 국한되지 않았습니다. 다양한 AI 모델(GPT-4o, GLM-5, Claude Haiku 4.5 등)과 다양한 에이전트 스타일(단일 로봇 vs. 로봇 팀) 전반에서 효과적이었습니다.

연구진은 비용 또한 살펴보았습니다. 매뉴얼을 최적화하는 데는 도구당 약 12.65분의 시간이 걸립니다. 그러나 그들은 이러한 엄청난 개선을 위해 지불할 만한 작은 대가라고 주장했습니다. 새로운 매뉴얼은 기존 매뉴얼보다 훨씬 길지 않았기에, AI에게 너무 많은 텍스트로 부담을 주지도 않았습니다.

이것이 중요한 이유

이 논문은 우리가 AI를 가르치는 방식을 바꾸어 놓습니다. 우리는 단순히 범용적인 지침 매뉴얼을 로봇에게 던져주고 잘 되기를 바랄 수 없다는 것을 보여줍니다. "매뉴얼"은 로봇의 두뇌와 수행 중인 작업에 맞춰 적응하는 살아있는 생명체여야 합니다.

연구진은 단순히 제안만 한 것이 아니라, 데이터를 통해 이를 증명했습니다. 문서의 나쁜 부분을 정교하게 깎아내고 올바른 부분을 추가함으로써, AI 에이전트를 훨씬 더 신뢰할 수 있게 만들 수 있음을 보여주었습니다. 이는 마치 학생에게 피아노를 가르칠 때, 단순히 악보를 주는 것이 아니라 그 학생의 손가락 힘, 음악적 취향, 그리고 배우려는 특정 곡에 맞춰 레슨을 맞춤화해야 한다는 것을 깨닫는 것과 같습니다. DOCSCHISEL은 AI 에이전트를 위해 정확히 그 역할을 수행하는 도구입니다.