Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures

당신이 우주선의 선장이라고 상상해 보세요. 하지만 직접 배를 조종하는 대신, 매우 똑똑하고 수다스러운 로봇 부조종사와 대화를 나누고 있습니다. 당신의 역할은 로봇에게 "엔진을 켜라" 또는 "구조 신호를 보내라"와 같은 지시를 내리는 것입니다. 인공지능의 세계에서 이러한 로봇들을 **LLM 에이전트(Large Language Model agents)**라고 부르며, 그들이 다루는 도구들은 도구(tools)(컴퓨터 프로그램이나 데이터베이스 같은 것들)라고 불립니다. 오랫동안 과학자들은 로봇이 도구에 무언가를 요청하면, 도구가 즉시 "완료!" 또는 "앗, 실패했습니다!"라고 답할 것이라고 가정해 왔습니다. 이는 마치 공이 즉각적으로 돌아오는 완벽한 탁구 게임과 같았습니다.

하지만 현실 세계는 훨씬 더 복잡합니다. 때로는 메시지를 보냈는데 네트워크가 느려서 한동안 아무런 응답이 없을 수도 있습니다. 혹은 메시지가 실제로 전달되어 엔진이 이미 작동 중인데도, 로봇이 "완료!"라는 신호를 받지 못할 수도 있습니다. 만약 로봇이 응답을 듣지 못했다고 해서 당황한다면, "다시 해!"라고 외치며 실수로 엔진을 두 번 켤 수도 있습니다. 이 논문은 이러한 혼란스러운 순간들을 일으키지 않고 로봇 부조조종사들이 어떻게 대처할 수 있는지 가르치는 방법에 관한 것입니다. 이 논문은 단순히 추측하고 재시도하는 대신, 작업이 실제로 완료되었는지 확인하기 위해 빠르게 훑어보는 과정을 거쳐야 한다고 제안합니다.

문제: "그게 정말 됐을까?"라는 미스터리

연구자들은 이러한 AI 에이전트들이 작동하는 방식에 큰 격차가 있음을 발견했습니다. 대부분의 현재 시스템은 완벽하고 즉각적인 세상을 가정하고 작동합니다. 그들은 도구 호출(예: 이메일을 보내거나 은행 기록을 업데이트하는 것)이 명확한 "성공" 메시지를 보내지 않으면, 반드시 실패했다고 가정합니다.

하지만 실제 컴퓨터 시스템은 바쁜 우체국과 같습니다. 편지가 배달되었지만 "배달 완료" 영수증이 우편물 속에서 길을 잃을 수도 있습니다. 편지는 도착했지만, 우체통을 확인하는 사람이 아직 확인하지 못했을 수도 있습니다(지연). 때로는 편지가 절반만 전달되기도 합니다. 논문에서 저자들은 이를 **비원자적 실패(non-atomic failures)**라고 부릅니다. "원자적(Atomic)"이라는 것은 전등 스위치를 켜는 것처럼 한 번에 일어나는 것을 의미합니다. "비원자적(Non-atomic)"이라는 것은 지연과 부분적인 단계가 존재하는 복잡한 상태를 의미합니다.

AI 에이전트가 이런 혼란에 직면하면 종종 당황합니다. 명령을 보냈는데 타임아웃(응답 없음)이 발생하면, 에이전트는 "오 이런, 작동하지 않았구나!"라고 생각하며 다시 시도합니다. 하지만 첫 번째 명령이 실제로 작동했다면, 에이전트는 방금 중복 작업을 만들어낸 것입니다. 피자를 주문했는데 가게에서 응답이 없다고 해서 다섯 번이나 다시 전화하는 상황을 상상해 보세요. 이제 당신은 피자 한 판 대신 다섯 판을 갖게 되었습니다. 디지털 세상에서도 이는 고객에게 화난 이메일을 다섯 통 보내거나, 신용카드로 결제를 다섯 번 하는 일이 될 수 있습니다.

해결책: "먼저 확인하는" 래퍼(Wrapper)

이를 해결하기 위해 저자들은 에이전트가 사용하는 도구 주변에 간단하고 가벼운 "래퍼"(안전 계층)를 구축했습니다. 그들은 이를 검증 후 재시도(verify-before-retry) 시스템이라고 부릅니다.

작동 방식은 다음과 같은 간단한 비유를 들어 설명할 수 있습니다.
벽에 그림을 걸려고 한다고 상상해 보세요.

1. 기존 방식 (순진한 재시도): 못을 박습니다. "툭" 하는 소리가 들리지 않자, 못을 놓쳤다고 생각합니다. 다시 박습니다. 또 다시 박습니다. 결국 이미 그림이 걸려 있는데도 계속 망치질을 하여 벽에 커다란 구멍을 내고 망가뜨리고 맙니다.
2. 새로운 방식 (검증 후 재시도): 못을 박습니다. "툭" 하는 소리가 들리지 않습니다. 즉시 다시 망치질을 하는 대신, 당신은 벽을 봅니다. "그림이 걸려 있는가?"를 확인합니다.
   • 만약 그림이 걸려 있다면, 멈춥니다. 다시 망치질을 하지 않습니다.
   • 만약 그림이 걸려 있지 않다면, 그때 다시 망치질을 합니다.

이 래퍼는 에이전트의 행동에 세 가지 스마트한 규칙을 추가합니다:

1. 신호와 현실을 분리하라: "성공" 메시지를 받지 못했다고 해서 반드시 행동이 실패한 것은 아닙니다.
2. 재시도 전에 확인하라: 에이전트가 명령을 다시 시도하기 전에, 작업이 이미 완료되었는지 확인하기 위해 실제 세상의 상태(사후 조건, postcondition)를 먼저 확인해야 합니다.
3. 마법의 열쇠(멱등성)를 사용하라: 만약 에이전트가 반드시 재시도를 해야 한다면, "멱등성 키(idempotency key)"라는 특별한 마법의 열쇠를 사용합니다. 이것은 컴퓨터 시스템에 "이봐, 내가 이걸 다시 시도하고 있지만, 이건 정확히 같은 요청이야. 만약 이미 처리했다면 이 두 번째 요청은 그냥 무시해줘"라고 알려주는 역할을 합니다.

연구 결과: 실수는 줄이고, 성공은 유지하다

연구자들은 에이전트가 어떻게 반응하는지 보기 위해 의도적으로 시스템을 고장 낸 시뮬레이션 환경에서 이 아이디어를 테스트했습니다. 그들은 두 가지 주요 작업을 만들었습니다:

• 고객 활성화: 사용자 계정을 생성하고 정확히 하나의 환영 메시지를 보냅니다.
• 송장 기록: 청구서를 업데이트하고 결제 완료로 표시합니다.

그들은 네트워크 타임아웃, 업데이트 지연, 부분적 실패와 같은 다양한 종류의 "불운"을 시스템에 주입했습니다. 그리고 기존의 "그냥 재시도" 방식과 새로운 "먼저 확인" 방식을 비교했습니다.

결과는 명확했고 꽤 극적이었습니다:

• 중복 작업: 기존 방식은 문제가 생겼을 때 엉망이 되었습니다. "고객 활성화" 작업에서 실패가 빈번할 때, 기존 에이전트는 **72%**의 확률로 환영 메시지를 중복해서 보냈습니다. 새로운 "검증 후 재시도" 에이전트는 이를 단 **20%**로 줄였습니다. "송장 기록" 작업에서는 높은 실패율 하에서 기존 에이전트가 중복 기록을 **76%**나 만들어냈지만, 새로운 에이전트는 이를 **20%**로 떨어뜨렸습니다 (낮은 결함 시 0%, 중간 결함 시 16%에서 감소).
• 작업 성공: 새로운 방식은 실수만 줄인 것이 아니라, 에이전트가 작업을 더 잘 완수하도록 도왔습니다. 고객 작업의 경우, 시스템이 고장 난 상황에서도 새로운 에이전트는 **100%**의 성공률을 보였습니다. 기존 에이전트는 상황이 엉망이 되면 성공률이 **64%**까지 떨어졌습니다. 송장 작업의 경우, 베이스라인(기존 방식)도 이미 상당히 강력했지만(낮은 결함 시 100%, 높은 결함 시 96% 달성), 새로운 래퍼는 가장 높은 결함 수준에서도 **100%**의 성공률을 유지하며 신뢰성을 확보했습니다.

저자들은 또한 어떤 부분이 이 새로운 시스템에서 핵심적인 역할을 하는지 알아보기 위해 특별한 테스트를 수행했습니다. 그들은 검증(작업이 완료되었는지 확인하는 것)이 가장 중요한 부분임을 발견했습니다. 단순히 상태를 확인하고 재시도하지 않는 것만으로도 전체 시스템과 거의 맞먹는 성능을 보였습니다. 이는 에이전트가 더 열심히 노력해야 하는 것이 아니라, 필요하지 않을 때 너무 과하게 노력하고 있다는 것이 가장 큰 문제였음을 시사합니다.

이것이 왜 중요한가

이 논문은 이러한 문제를 해결하기 위해 AI를 더 "똑똑하게" 만들거나 뇌를 바꿀 필요는 없다고 제안합니다. 대신, AI가 도구와 상호작용하는 방식을 바꾸기만 하면 됩니다. "뛰기 전에 먼저 보기"라는 간단한 단계를 추가함으로써, 우리는 AI 에이전트를 훨씬 더 신뢰할 수 있게 만들 수 있습니다.

이는 돈을 보내거나 파일을 삭제하는 것처럼, 두 번 실행하는 것이 재앙이 될 수 있는 작업에서 특히 중요합니다. 이 연구는 컴퓨터 시스템이 종종 지연되고 혼란스러운 세상에서, 가장 신뢰할 수 있는 로봇을 만드는 방법은 로봇에게 패닉에 빠져 다시 하기 전에 자신의 작업을 다시 한번 확인하도록 가르치는 것임을 보여줍니다. 이는 많은 디지털 혼란을 막을 수 있는 소프트웨어의 작은 변화입니다.