Real-Time Detection and Repair of LLM Agent Failures

컴퓨터가 단순히 질문에 답하는 것을 넘어 실제로 무언가를 '수행'하는 세상을 상상해 보십시오. 이들은 웹을 서핑하고, 숫자를 계산하며, 복잡한 문제를 해결하기 위해 도구를 사용하는 디지털 인턴, 즉 '에이전트(agent)'와 같습니다. 하지만 인간 인턴과 마찬가지로, 이 AI 에이전트들도 주의가 산만해지거나, 똑같은 실수를 반복하는 루프에 빠지거나, 사실이 아닌 것을 자신 있게 지어낼 수도 있습니다. 이것이 바로 **LLM 에이전트(Large Language Model agents)**의 세계입니다.

이 에이전트들이 궤도를 벗어나지 않도록 유지하기 위해, 우리는 보통 감독자가 필요합니다. 전통적인 방식은 첫 번째 AI가 취하는 모든 단계를 읽고 "잘했어" 또는 "멈춰, 그건 틀렸어"라고 말해줄 두 번째의 비싼 AI를 고용하는 것입니다. 하지만 이는 직원이 글자 하나를 타이핑할 때마다 지켜보기 위해 풀타임 매니저를 고용하는 것과 같습니다. 너무 많은 시간과 비용이 듭니다. 과학자들이 던지는 핵심 질문은 이것입니다: 두 번째 AI가 힘든 일을 대신 수행하게 하지 않고도, 에이전트의 행동만을 보고 문제를 포착할 수 있는 작고 매우 빠른 "감시견(watchdog)"을 만들 수 있을까? 이 논문은 바로 이 문제를 깊이 파고들며, AI의 실수를 조기에, 저렴하게, 그리고 자동으로 잡아내는 방법을 찾고자 합니다.

---

논문의 이야기: 마이크로초 단위의 감시견

이 논문은 AI 에이전트를 위한 실시간 감시견 역할을 하도록 설계된 영리한 시스템을 소개합니다. 모든 움직임을 판단하기 위해 두 번째 AI를 고용하는 대신, 저자는 에이전트가 남긴 '디지털 발자국'(무엇을 말했는지, 확신 수준이 어떠했는지, 어떤 도구를 사용했는지 등)인 '텔레메트리(telemetry)'를 관찰하는 가볍고 경량화된 모니터를 구축했습니다.

AI 에이전트를 숲속을 걷는 등산객이라고 생각해 보십시오. 표준적인 방법은 헬리콥터 조종사(두 번째 AI)가 상공에서 비행하며 등산객이 올바른 경로로 가고 있는지 확인하는 것입니다. 이 논문은 다른 접근 방식을 제안합니다. 바로 등산객의 머리 위 몇 피트 지점을 나는 아주 작고 빠른 드론입니다. 이 드론는 숲 전체를 이해할 필요가 없습니다. 그저 등산객이 원을 그리며 걷거나, 같은 바위에 걸려 넘어지거나, 갑자기 경로를 이탈하는 것과 같은 특정 문제 징후를 감시하기만 하면 됩니다.

감시견의 작동 원리

저자는 마이크로초(약 200 마이크로초, 눈 깜빡임보다 빠른 속도) 단위로 실행되는 시스템을 구축했습니다. 이 시스템은 **에코 상태 네트워크(Echo-State Network, ESN)**라는 기술을 사용합니다. 이를 마치 두드리면 진동하는 드럼이라고 상상해 보십시오. AI 에이전트의 행동은 드럼을 치는 '탭(tap)'입니다. 에이전트가 정상적으로 작동한다면 드럼은 예측 가능하고 리드미컬한 패턴으로 진동합니다. 만약 에이전트가 실패하기 시작하면(예: 루프에 빠지거나 혼란에 빠지는 경우), 그 리듬은 엉망이 됩니다. 감시견은 이 리듬을 듣고 있다가 박자가 어긋나는 순간 즉시 경보를 울립니다.

논문은 에이전트가 과업을 수행하는 2,823개의 실제 에피소드를 대상으로 이 테스트를 진행했습니다. 연구 결과, 이 "드럼" 방식은 특정 유형의 실수를 잡아내는 데 매우 탁월했습니다:

• 루프(Loops): 에이전트가 스스로를 반복하며 갇히는 경우, 감시견은 거의 매번 이를 포착했습니다.
• 도구 오류(Tool Errors): 에이전트가 도구 호출을 잘못했을 때, 빈번하게 포착되었습니다.
• 목표 이탈(Goal Drift): 에이전트가 원래 해야 할 일을 잊어버릴 때, 감시견은 이를 발견했습니다.

하지만 논문은 감시견이 할 수 없는 것에 대해서도 매우 솔직합니다. 감시견에게는 **콘텐츠 오염(content corruption)**이라는 "사각지대"가 있습니다. 에이전트가 문서를 읽고 있는데, 문서 내부의 텍스트가 몰래 엉터리 글자로 바뀌었다고 가정해 봅시다. 만약 에이전트가 그 엉터리 글자에 대해 이상 반응을 보이지 않는다면(즉, 행동이나 언어적 패턴이 변하지 않는다면), 감시견은 이 오류를 볼 수 없습니다. 논문에 따르면 추가적인 도움 없이는 이러한 콘텐츠 오류를 약 **72%**의 확률로 놓치게 됩니다(결합 탐지율이 완벽한 점수에서 0.28로 떨어짐).

"사각지대" 해결책

이를 해결하기 위해 저자는 **콘텐츠 그라운딩 채널(content-grounding channel)**이라는 두 번째 레이어를 추가했습니다. 이는 감시견에게 에이전트가 읽고 있는 실제 텍스트를 확인할 돋보기를 쥐여주는 것과 같습니다. 이 레이어를 추가하자, 결합 테스트에서 콘텐츠 오류 탐지율이 0.28에서 0.59로 뛰어올랐습니다 (그리고 텍-내의 오염이 가시적인 특정 연구 사례에서는 1.00에 도달했습니다).

하지만 주의할 점이 있습니다. 이 감시견은 자신이 관찰하는 AI의 "성격"에 매우 특화되어 있다는 것입니다. 만약 특정 모델(예: qwen2.5)로 학습시킨 감시견을 다른 유형의 모델(예: llama3.1)에 사용하려고 하면, 성능이 무작위 추측보다 나아지지 않을 정도로 떨어집니다. 저자는 새로운 AI 모델을 사용할 때마다, 마치 다른 집의 온도 조절기를 조정해야 하는 것처럼 감시견을 "재교정(recalibrate)"해야 한다고 주장합니다.

"정직한" 한계점

논문은 과도한 약속을 하지 않도록 주의를 기울였습니다. 저자들은 AI가 환각(hallucination) 현상(숫자나 사실을 진짜처럼 들리게 지어내는 것)을 일으킬 때, 통계적 감시견이 무용지물이라는 점을 인정합니다. 사전 등록된 연구에 따르면, 모델들이 스스로 사실을 지어내는 경우는 드물지만, 지어낼 때 감시견은 이를 볼 수 없습니다.

대신 저자는 이 문제를 해결하기 위한 다른 도구로 **결정론적 검증기(deterministic verifier)**를 제안합니다. 이것은 똑똑한 AI가 아니라 단순한 수학 체크 도구입니다. 만약 에이전트가 "총비용은 50달러입니다"라고 말한다면, 검증기는 단순히 수학을 확인합니다: "에이전트가 영수증을 다 더해서 정말 50달러가 나왔는가?" 만약 수학이 맞지 않는다면, 검증기는 이를 플래그(flag)합니다. 이 방법은 유도된 테스트에서 26개 중 26개의 조작된 숫자를 오탐 없이 100% 잡아냈습니다. (참고: 자연스러운, 유도되지 않은 환경에서의 연구는 규모가 너무 작아 확정적인 주장을 하기에는 어려웠으나, 이 방법은 오류 발생 시 이를 잡도록 설계되었습니다.)

"복구(Repair)" 메커니즘

이 논문의 가장 뛰어난 부분은 단순히 오류를 잡아내는 것이 아니라, 그것을 고치는 것입니다. 감시견이 경보를 울리면, 시스템은 단순히 에이전트를 멈추는 데 그치지 않습니다. 에이전트를 모든 것이 올바르게 작동했던 마지막 단계로 되돌린(roll back) 후 다시 시도하게 합니다.

이것은 비디오 게임의 "체크포인트"와 같습니다. 만약 구덩이에 빠졌다면, 레벨 전체를 처음부터 다시 시작하는 것이 아니라, 마지막 안전한 지점으로 돌아가 다른 길을 시도하는 것입니다.

• 감시견과 복구 적용 시: 에이전트의 성공률은 **73%**입니다.
• 복구 없이(단순 재시도 시): 에이전트의 성공률은 **52%**에 불과합니다.

저자는 에이전트를 복구하는 가장 효과적인 방법은 단순히 "다시 시도하라"고 말하는 것이 아니라, 어떤 체크에서 실패했는지 정확히 알려주는 것(예: "도구 호출을 놓쳤습니다")이라는 것을 발견했습니다. 이 구체적인 지침은 단순 재시도가 16%의 성공률을 보인 것에 비해, 실패의 **45%**를 복구하는 데 도움을 주었습니다.

결론

이 논문은 우리의 에이전트를 감시하기 위해 두 번째의 비싼 AI가 필요하지 않다는 것을 증명합니다. 에이전트의 리듬을 듣고 대부분의 실수를 잡아내는 작고 빠른 마이크로초 단위의 모니터를 사용할 수 있습니다. 물론 완벽하지는 않습니다. 새로운 AI 모델마다 재교정이 필요하며, 모든 종류의 거짓말을 잡을 수는 없습니다. 하지만 작동할 때, 이 시스템은 많은 시간과 비용을 절약해 줍니다. 또한 오류를 잡아냈을 때 에이전트를 안전한 지점으로 되돌려 성공률을 52%에서 73%로 끌어올릴 수 있습니다.

저자는 이 감시견이 강력한 첫 번째 방어선이지만, 감시견이 볼 수 없는 특정 유형의 거짓말(예: 수학적 사실)에 대해서는 단순한 비-AI 기반 체크(수학 검증기 등)와 결합될 때 가장 효과적이라고 결론짓습니다. 이는 팀워크입니다. 빠른 감시견은 '행동'을 담당하고, 단순한 수학 검증기는 '사실'을 담당합니다.