Agentic AI for Complex Decision-Making: A Systematic Critical Review of Planning, Memory, Tools, Safety and Assurance in Autonomous Systems
2026년 6월까지의 98개 문헌을 대상으로 한 이 체계적 비판적 검토는 새로운 폐쇄 루프 프레임워크를 통해 에이전틱 AI(Agentic AI)의 계획, 메모리, 도구 및 안전성을 평가하며, 내재적 자기 수정은 신뢰할 수 없고 장기 계획 능력은 여전히 취약하며 도구 사용 에이전트는 인젝션에 취약하다는 점을 밝히는 동시에, 감사 가능한 증거 매트릭스와 향후 개발을 위한 우선순위 로드맵을 제공한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
단순히 질문을 받았을 때 답을 하는 것을 넘어, 스스로 문제를 해결하기 위해 나서는 컴퓨터 프로그램을 상상해 보십시오. 이 프로그램은 엉망이 된 상황을 살펴보고, 이를 단계별로 나누며, 학습한 내용을 기억하고, 웹 브라우저나 코드 에디터와 같은 디지털 도구를 사용하며, 심지어 업무를 완수하기 위해 다른 프로그램과 대화할 수도 있습니다. 이것이 바로 '에이전트형(agentic)' 인공지능의 약속입니다. 수년 동안 컴퓨터는 문장에서 다음 단어를 예측하거나 사진 속 얼굴을 인식하는 데는 뛰어났지만, 명령을 기다리는 반응적인 존재였습니다. 새로운 세대의 시스템들은 주도적입니다. 이들은 인간이 복잡한 소프트웨어 버그를 수정하거나 과학 실험을 계획할 때처럼, 목표에 도달하기 위해 일련의 결정을 내리며 장기간에 걸쳐 행동하도록 설계되었습니다. 연구자들을 오랫동안 몰두하게 만든 질문은, 이러한 디지털 에이전트들이 지속적인 인간의 감독 없이도 이 작업을 신뢰할 수 있게 수행할 수 있는가 하는 점입니다.
베로르 공과대학교(Vellore Institute of Technology)와 투쿠ン쿠 압둘 라만 대학교(Universiti Tunku Abdul Rahman)의 연구진이 발표한 새로운 종합 검토 보고서는 이 질문을 엄중하게 다룹니다. 저자들은 단순히 최신 발명품을 나열하거나 시스템 구축 방식을 설명하는 데 그치지 않았습니다. 대신, 그들은 2026년 중반까지 발표된 약 100개의 연구에서 증거를 수집하고 무게를 다는 감사관 역할을 했습니다. 그들의 목표는 이러한 에이전트의 진정한 능력과 과장된 홍보를 구분하는 것이었으며, 이 시스템들이 까다로운 다단계 작업에 직면했을 때 광고된 대로 작동하는지 확인하는 것이었습니다. 그들은 기술이 빠르게 발전하고 있지만, 이러한 에이전트가 통제된 테스트에서 할 수 있는 것과 현실 세계에서 할 수 있는 것 사이에는 상당한 격차가 있음을 발견했습니다. 이 검토 보고서는 현재 세대의 시스템이 아직 고위험 독립 작업에 투입될 준비가 되지 않았으며, 앞으로 나아가는 길은 단순히 컴퓨터가 더 똑똑해지기를 기다리는 것이 아니라 특정 안전 구조를 구축하는 데 달려 있다고 제안합니다.
연구진은 먼저 혼란스러운 에이전트 연구의 지형을 명확한 지도로 정리하는 것으로 시작했습니다. 그들은 이러한 시스템이 네 가지 주요 능력, 즉 행동 계획 수립, 시간 경과에 따른 정보 기억, 외부 도구 사용, 그리고 다른 에이전트와의 협업에 의존한다는 점을 확인했습니다. 또한 그들은 단순히 미리 작성된 스크립트를 따르는 시스템과 진정으로 스스로 선택을 내리는 시스템 사이의 결정적인 차이점을 주목했습니다. 이러한 시스템의 신뢰성을 테스트하기 위해, 저자들은 대부분의 설계에서 현재 누락되어 있는 두 가지 안전 체크포인트를 포함하는 표준 프레임워크를 제안했습니다. 첫 번째 체크포인트는 에이전트의 계획이 실행되기 전에 별도의 프로세스가 이를 확인하는 검증 단계입니다. 두 번째는 안전 게이트로, 중요한 파일을 삭제하거나 개인 데이터를 잘못된 곳으로 보내는 것과 같은 위험한 행동을 방지하는 규칙 기반의 장벽입니다.
연구팀이 현재 존재하는 가장 저명한 10개의 에이전트 시스템에 이 프레임워크를 적용했을 때, 결과는 냉혹했습니다. 10개 시스템 중 어느 것도 이 두 가지 핵심적인 안전 체크포인트를 완전히 구현하지 못했습니다. 대부분의 시스템은 아이디어를 생성하고, 도구를 호출하며, 앞으로 나아가는 '실행' 부분에는 뛰어났지만, '확인' 부분에서는 놀라울 정도로 취약했습니다. 그들은 행동하기 전에 자신의 계획이 올바른지 검증하는 방법을 갖추지 못한 경우가 많았고, 해로운 실수를 방지하기 위한 강제 정지 장치를 갖춘 경우도 드물었습니다. 저자들은 행동을 취하기 위한 기계 장치가 안전을 보장하기 위한 기계 장치보다 훨씬 더 발달해 있다는 것을 발견했습니다. 이러한 불균형은 위험한데, 연구진이 보여준 바와 같이 계획에서의 작은 오류는 시간이 지남에 따라 쌓이는 경향이 있기 때문입니다. 만약 에이전트가 긴 작업의 첫 단계에서 실수를 한다면, 그 오류는 연쇄적으로 작용하여, 에이전트가 진행 중인 것처럼 보이더라도 결국 마지막에는 완전한 실패로 이어질 수 있습니다.
많은 이들이 기대하는 자가 수정(self-correction)에 관한 중요한 발견이 있습니다. 많은 개발자는 이 에이전트들이 자신의 작업물을 살펴보고 실수를 깨달아 스스로 수정할 수 있기를 희망해 왔습니다. 그러나 검토 결과, 이러한 희망은 대체로 잘못된 것으로 나타났습니다. 에이전트가 외부의 도움 없이 스스로를 수정하려고 시도할 때, 종종 자신의 오류를 알아차리지 못하거나, 최악의 경우 문제를 더 악화시키기도 합니다. 증거에 따르면, 자가 수정은 에이전트가 테스트 결과, 인간 검토자, 또는 단계의 성공 여부를 확인해 주는 도구와 같은 외부 소스로부터 피드백을 받을 때만 신뢰성 있게 작동합니다. 그러한 외부의 목소리가 없다면, 에이전트는 자신감 있지만 틀린 추론의 굴레에 빠지기 쉽습니다.
또한 이 검토 보고서는 여러 에이전트가 함께 협력하는 것이 항상 단일 에이전트를 사용하는 것보다 낫다는 대중적인 아이디어를 조사했습니다. 연구진은 이것이 자동으로 참은 아니라는 점을 발견했습니다. 에이전트 팀이 복잡한 문제를 해결할 수는 있지만, 동일한 양의 컴퓨팅 파워가 주어진다면 잘 설계된 단일 에이전트보다 성능이 뛰어나지 못한 경우가 많습니다. 많은 경우, 팀 내의 에이전트들은 동일한 실수를 반복하거나 서로 혼란을 겪게 되는데, 이를 '집단 환각(group hallucination)' 현상이라고 합니다. 팀워크의 이점은 에이전트들이 서로 겹치지 않는 각기 다른 기술을 가지고 있고, 그들의 오류가 서로를 강화하지 않는 특정한 조건 하에서만 나타납니다.
이 검토 보고서의 가장 결정적인 통찰은 안전에 관한 것입니다. 저자들은 안전이 사후 고려 사항이나 프로세스 끝에 추가되는 단순한 필터가 되어서는 안 된다고 주장합니다. 이 에이전트들은 현실 세계에서 행동을 취할 수 있기 때문에, 안전은 그들이 의사결정을 내리는 방식의 구조 자체에 내장되어야 합니다. 이 보고서는 컴퓨터가 해로운 요청을 거부하도록 훈련하는 데 초점을 맞춘 현재의 안전 조치들이 충분하지 않다고 강조합니다. 시스템은 예의 바르게 행동하고 나쁜 말을 하지 않도록 훈련될 수 있지만, 만약 방문한 웹사이트의 숨겨진 명령에 의해 속게 된다면 여전히 해로운 행동을 수행할 수 있습니다. 연구진은 신뢰할 수 있는 에이전트에게는 에이전트의 결정과 현실 세계 사이에 권한 확인 및 샌드박스 환경을 포함한 다층적인 보호 계층, 즉 '심층 방어(defense in depth)' 접근 방식이 필요하다고 결론지었습니다.
마지막으로, 연구팀은 의료, 금융, 공공 서비스와 같은 중요한 분야에서 이 시스템들이 실제 사용될 준비가 되었는지 살펴보았습니다. 그들은 고위험 분야의 경우, 이러한 에이전트들이 독립적으로 작업할 준비가 되었다는 증거가 거의 없다는 것을 발견했습니다. 실수가 쉽게 되돌려질 수 있어 리스크가 낮은 소프트웨어 공학 같은 영역에서는 일부 성공 사례가 있으나, 그곳에서도 시스템은 길고 복잡한 작업에 어려움을 겪고 있습니다. 이 검토 보고서는 현재의 기술 상태를 '신뢰할 수 있는 인프라를 기다리고 있는 유망한 역량'이라고 묘-사하는 것이 적절하다고 제안합니다. 앞으로 나아갈 길은 단순히 더 똑똑한 모델을 만드는 것이 아니라, 검증, 안전 및 책임 소재를 위한 더 나은 시스템을 구축하는 것입니다. 연구진은 향후 몇 년간의 로드맵으로 구조적 개선을 우선시하는 방안을 제시하며, 이러한 토대가 마련될 때까지 완전한 자율 에이전트를 중요한 영역에 배치하는 것은 너무 위험하다고 주장합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.