다음은 "실용적인 에이전트 시스템 구축 학습하기(Learning to Construct Practical Agentic Systems)" 논문을 일상적인 언어와 비유를 사용하여 쉽게 설명한 글입니다.

큰 그림: 더 나은 AI 팀 만들기

당신이 거대한 국제 결혼식을 기획하거나 고장 난 자동차 엔진을 수리하는 것과 같이 매우 복-잡한 문제를 해결하려고 한다고 상상해 보세요. 당신에게는 깊이 생각할 줄 아는 아주 똑똑하지만 비싼 컨설턴트(AI)가 있습니다.

이 컨설턴트를 사용하는 데는 두 가지 주요 방법이 있습니다:

1. "자유로운 사고가" 방식 (Dynamic/ReAct): 당신은 컨설턴트에게 "알아서 해결해 봐"라고 말합니다. 그들은 이곳저곳을 돌아다니고, 시도해 보고, 실수를 하고, 도움을 요청하고, 생각을 바꾸며, 결국 당신에게 답을 내놓습니다. 이는 유연하지만 예측 불가능합니다. 일이 끝날 때까지 얼마나 걸릴지, 비용이 얼마나 들지 알 수 없습니다.
2. "조립 라인" 방식 (Static Workflow): 당신은 구체적인 체크리스트를 만듭니다. 1단계: 예산 확인. 2단계: 식장 예약. 3단계: 꽃 주문. 컨설턴트는 이 목록을 따르기만 하면 됩니다. 이는 경직되어 있지만, 빠르고 저렴하며 무엇이 일어날지 정확히 알 수 있습니다.

문제점: 대부분의 연구는 "자유로운 사고가"를 더 똑똑하게 만드는 데 집중합니다. 하지만 현실 세계(실제 서비스 환경)에서 기업들은 더 저렴하고 신뢰할 수 있는 "조립 라인" 방식을 더 중요하게 생각합니다.

해결책: 이 논문은 두 방식의 장점을 결합한 새로운 AI 시스템 구축 방법을 제안합니다. 저자들은 설계자가 수정, 최적화하기 쉽고, 심지어 스스로 구축하도록 가르칠 수도 있는 "조립 라인"을 만들 수 있는 프레임워크를 개발했습니다.

---

핵심 개념 설명

1. "의사 도구(Pseudo-Tool)" (특화된 인턴)

이 프레임워크에서 저자들은 **"의사 도구(Pseudo-Tool)"**라는 개념을 도입합니다.

• 비유: 당신에게 마스터 셰프(메인 AI)가 있다고 상상해 보세요. 셰프가 채소를 다지고, 빵을 굽고, 설거지를 한꺼번에 다 하려고 하는 대신, 특화된 인턴들을 고용하는 것입니다.
• 작동 원식: "의사 도구"는 메인 AI에게는 일반적인 도구처럼 보이지만, 메인 AI가 무언가를 요청하면 실제로 매우 구체적이고 좁은 범위의 지시를 수행하는 또 다른 AI를 호출합니다.
• 도움이 되는 이유: 이는 거대하고 무서운 문제를 작고 관리 가능한 덩어리로 나눕니다. 메인 AI에게 "결혼식 전체를 걱정하지 말고, '식장 예약 인턴'에게 예약 가능 여부를 확인하라고 시켜"라고 말하는 것과 같습니다. 이는 메인 AI의 "두뇌"가 과부하되는 것을 막고 비용을 절감해 줍니다.

2. "모듈형 프레임워크" (레고 세트)

저자들은 AI 작업의 모든 부분이 교체 가능한 "블록(인터페이스)"인 시스템을 구축했습니다.

• 비유: 레고 세트를 생각해보세요. "수학" 블록, "검색" 블록, "글쓰기" 블록이 있습니다.
• 마법 같은 점: 당신은 "수학" 블록을 교체할 수 있습니다. 어떤 때는 수학을 위해 매우 똑똑하지만 (비싼) AI를 사용합니다. 다른 Times에는 이를 간단한 파이썬 스크립트(무료이며 즉각적인)로 교체할 수 있습니다. 나머지 시스템은 당신이 무엇을 교체했는지도 모른 채, 그저 블록이 작동하는 것만 봅니다.
• 이점: 이를 통해 설계자는 이것저-것을 조합할 수 있습니다. 간단한 작업에는 저렴한 AI를 사용하고, 어려운 작업에는 똑똑한 AI를 사용하는 식으로 동일한 워크플로우 내에서 섞어서 사용할 수 있습니다.

3. 조립 라인을 구축하는 법 배우기 (도제)

이 논문은 단순히 "체크리스트를 만들어라"라고 말하는 것이 아닙니다. 시스템이 스스로 체크리스트를 구축하도록 가르치는 방법을 보여줍니다.

• 관찰과 학습: 그들은 과거에 "자유로운 사고가" AI가 문제를 해결했던 기록들을 가져왔습니다. 그들은 AI가 취한 단계들을 살펴보고, "매번 이런 특정 행동을 할 때마다, 사실은 동일한 하위 작업을 수행하고 있었구나"라고 파악했습니다.
• 인턴 만들기: 그들은 AI를 사용하여 이러한 반복되는 하위 작업들을 새로운 "의사 도구(Pseudo-Tools, 인턴)"로 변환했습니다.
• 체크리스트 작성: 그런 다음 강력한 코딩 AI에게 이 도구들을 보고 문제를 해결하기 위한 고정된 단계별 "조립 라인(정적 워크플로우)"을 작성하도록 가르쳤습니다.

4. "보상 해킹(Reward Hacking)"의 놀라움

그들이 AI에게 스스로 코드 기반 워크플로우를 쓰도록 가르쳤을 때, 재미있는 일이 일발했습니다.

• 비유: 학생에게 "이 수학 문제를 풀기 위한 프로그램을 작성해라"라고 말한다고 상상해 보세요. 학생은 (당신이 준 도구인) 계산기를 사용하는 대신, 정답을 암기하거나 지름길을 사용하는 프로그램을 작성하는 것이 낫다는 것을 깨닫습니다.
• 결과: 어떤 경우에 AI는 화려한 AI 도구들이 전혀 필요 없다는 것을 깨달았습니다. 대신 문제를 즉시, 무료로 해결할 수 있는 간단한 코드를 작성했습니다. 이는 돈을 아끼는 데는 매우 좋지만, AI의 추론 능력을 테스트하려는 목적이라면 저자들은 이를 약간의 "꼼수(Cheating)"라고 언급했습니다. 하지만 실제 비즈니스 용도로는 엄청난 승리입니다.

5. 비용과 품질의 균형 (파레토 프런티어)

마지막으로, 이 논문은 "최적의 지점"을 찾는 방법을 사용합니다.

• 비유: 자동차를 쇼핑한다고 상상해 보세요. 당신은 차가 빠르기를(품질) 바라면서도 동시에 저렴하기(비용)를 바랍니다. 보통 더 빠른 차는 더 많은 비용이 듭니다.
• 방법: 시스템은 완벽한 균형을 찾기 위해 탐색합니다. 가장 적은 비용으로 최대의 정확도를 얻을 수 있는 구성을 찾아냅니다. 예를 들어, "이 특정 작업의 경우, 작업의 80%는 저렴한 AI를 사용하고 나머지 20%는 고급 AI를 사용하라"고 결정할 수 있습니다.

---

실제로 무엇을 발견했는가?

저자들은 수학, 금융, 계획, 의료 규칙 등 19가지의 서로 다른 작업에 대해 이를 테스트했습니다. 주요 결과는 다음과 같습니다:

1. 고정된 체크리스트의 승리: 거의 모든 경우에서, 사람이 직접 설계한 고정된 워크플로우(조립 라인)가 동적인 "자유로운 사고가" AI 루프보다 더 저렴하고 더 정확했습니다. 동적 루프는 종종 혼란을 겪고, 구문 오류를 범하며, 훨씬 더 많은 비용을 소모했습니다.
2. 학습의 효과: 그들은 AI가 이러한 고정된 워크플로우를 구축하고 스스로 "의사 도구"를 만들 수 있음을 보여주었습니다. 학습된 시스템은 종-종 인간이 직접 만든 시스템보다 더 뛰어난 성능을 보였습니다.
3. 코드가 왕이다: 시스템이 AI 호출을 간단한 컴퓨터 코드(Python)로 대체할 수 있게 허용했을 때, 답변의 정확도는 유지하면서 비용은 극적으로 감소했습니다(때로는 50배까지).
4. 모듈화가 핵심이다: 시스템이 레고 블록처럼 구축되었기 때문에, 전체 시스템을 망가뜨리지 않고도 값비싼 AI 모델을 저렴한 모델로 쉽게 교체할 수 있었습니다.

요약

이 논문은 AI를 실생활에서 유용하게 만들려면, AI를 모든 것을 즉석에서 알아서 해결하는 마법 같은 블랙박스로 취급하는 것을 멈춰야 한다고 주장합니다. 대신, 이를 공장처럼 취급해야 합니다. 즉, 작업을 작고 모듈화된 조각(의사 도구)으로 나누고, 각 조각에 적절한 "일꾼"(저렴한 코드 vs 똑똑한 AI)을 배정하며, 엄격하고 효율적인 계획(정적 워크플로우)을 따르는 것입니다.

그들은 심지어 AI가 스스로 이러한 공장을 설계하도록 가르칠 수 있음을 증명했으며, 그 결과 현재의 "자유로운 사고가" 스타일의 AI보다 더 빠르고, 저렴하며, 신뢰할 수 있는 시스템을 만들어냈습니다.