상상해 보세요. 여러분이 초지능이고 피로하지 않은 디지털 비서를 고용했다고 가정해 봅시다. 단순히 질문에 답하는 일반 챗봇과 달리, 이 새로운 유형의 AI 는 '에이전트 AI(Agentic AI)'입니다. 여러분을 위해 책을 찾아주는 사서보다는, 실제로 일을 수행할 수 있는 개인 프로젝트 관리자로 생각하세요. 이는 웹을 검색하고, 코드를 작성하며, 항공권을 예약하고, 여러분의 파일에 접근하며, 복잡한 문제를 해결하기 위해 스스로 결정을 내릴 수 있습니다.

이 논문은 이러한 새로운 '디지털 프로젝트 관리자'를 위한 포괄적인 안전 매뉴얼입니다. 저자들은 이러한 에이전트들이 강력하지만, 디지털 생활의 열쇠를 그들에게 맡기는 것은 새로운 위험을 초래한다고 주장합니다. 그들은 에이전트를 신뢰할 수 있도록 하기 위해 두 가지 주요 영역을 분석합니다: 안전성과 견고성(실수로 무언가를 망치지 않도록 보장)과 개인정보 보호 및 보안(해킹당하거나 비밀이 유출되지 않도록 보장).

다음은 일상적인 비유를 사용한 그들의 발견 사항에 대한 간단한 요약입니다.

1. 새로운 위험: '도미노 효과'

구형 AI 는 자판기 같았습니다. 동전을 넣고 간식을 받아내는 것뿐입니다. 기계가 고장 나면 귀찮을 뿐, 위험하지는 않습니다.

에이전트 AI는 연쇄 도미노와 같습니다. 에이전트는 단순히 답변을 주는 것이 아니라 일련의 단계 (궤적) 를 수행합니다.

• 1 단계: 이메일을 읽습니다.
• 2 단계: 응답을 계획합니다.
• 3 단계: 이메일을 보냅니다.
• 4 단계: 일정을 업데이트합니다.

문제점은 무엇일까요? 에이전트가 1 단계에서 사소한 실수 (이메일을 잘못 읽음) 를 저지르면, 2 단계에서 잘못된 계획을 세우고, 3 단계에서 끔찍한 이메일을 보내며, 4 단계에서 일정을 삭제할 수 있습니다. 논문은 이를 **'연쇄 실패 (cascading failure)'**라고 부릅니다. 초기의 작은 오류가 나중에 거대한 재앙으로 변할 수 있습니다.

2. 두 가지 주요 안전 기둥

저자들은 이러한 에이전트를 신뢰하기 위해 두 가지 구체적인 사항에 집중해야 한다고 말합니다.

A. 안전성과 견고성 ('안전벨트와 에어백' 접근법)

이는 문제가 발생하더라도 에이전트가 누구에게도 해를 끼치거나 무언가를 망치지 않도록 하는 것과 관련이 있습니다.

• 위험: 에이전트가 자동차를 운전한다고 상상해 보세요 (행동에 대한 비유). 에이전트가 이전에 본 적 없는 이상한 모양 (분포 외 입력, Out-of-Distribution input) 을 도로에서 발견하면 당황하여 벽으로 돌진할 수 있습니다. 또는 '정지'라고 쓰여 있지만 실제로는 '진행'을 의미하는 표지판에 속을 수도 있습니다 (프롬프트 인젝션 공격).
• 해결책: 논문은 **가드레일 (guardrails)**을 구축할 것을 제안합니다.
  • 행동 전: 계획이 타당한지 확인합니다 (지도 확인을 하는 조종사와 같은 역할).
  • 행동 중: 샌드박스 (놀이터) 안에 두어, 에이전트가 파일을 삭제하려 할 때 샌드박스 내의 파일만 삭제되도록 합니다.
  • 행동 후: 영구적으로 적용되기 전에 인간이 작업을 점검합니다.

B. 개인정보 보호 및 시스템 보안 ('비밀 지킴이' 접근법)

이는 에이전트가 여러분의 비밀을 훔치지 않거나 해커를 들여보내지 않도록 하는 것과 관련이 있습니다.

• 위험: 여러분이 에이전트에게 식물을 돌보게 하려고 집 열쇠를 준다고 상상해 보세요. 하지만 해커가 에이전트를 속여 자신이 여러분인 것처럼 믿게 만들고, 에이전트가 열쇠를 넘겨줄 수 있습니다. 또는 에이전트가 실수로 일기를 테이블 위에 열어두고 누구나 읽을 수 있게 할 수도 있습니다.
• 해결책: 논문은 제로 트러스트 (Zero-Trust) 정책을 제안합니다.
  • 최소 권한: 에이전트에게 전체 집의 마스터 열쇠가 아닌, 하나의 작업에 필요한 특정 열쇠만 부여합니다.
  • 비밀 관리: 에이전트가 메모리에 비밀번호를 저장하지 않도록 하고, 대신 안전한 금고에 저장합니다.
  • 정리: 에이전트가 비밀을 읽으면 나중에 실수로 유출하지 않도록 즉시 그 비밀을 '잊게' 해야 합니다.

3. 에이전트의 일상 (작업 흐름)

논문은 이러한 위험을 에이전트의 일일 주기인 **지각 (Perceive) → 계획 (Plan) → 실행 (Act) → 성찰 (Reflect) → 학습 (Learn)**에 매핑합니다. 이는 에이전트의 아침 루틴으로 생각할 수 있습니다.

1. 지각 (깨어나기): 에이전트가 이메일과 웹 페이지를 읽습니다.
   • 위험: 누군가 에이전트를 속이는 가짜 이메일을 보낼 수 있습니다.
   • 해결책: 발신자 ID 를 확인하고 숨겨진 트릭을 스캔합니다.
2. 계획 (할 일 목록 만들기): 에이전트가 무엇을 할지 결정합니다.
   • 위험: 위험한 지역을 통과하는 경로를 계획할 수 있습니다 (위험한 행동).
   • 해결책: 에이전트가 움직이기 전에 '규칙 확인기'가 계획을 검토합니다.
3. 실행 (작업 수행): 에이전트가 버튼을 클릭하고, 이메일을 보내고, 코드를 실행합니다.
   • 위험: 실수로 잘못된 파일을 삭제할 수 있습니다.
   • 해결책: 먼저 '건조 실행 (시뮬레이션)'으로 실행하거나, 큰 변경 사항에 대해 인간의 승인을 받습니다.
4. 성찰 (돌아보기): 에이전트가 잘했는지 확인합니다.
   • 위험: 실패했을지라도 스스로에게 "잘했다!"라고 거짓말할 수 있습니다.
   • 해결책: 결과를 검증하는 별도의 '심판자'를 사용합니다.
5. 학습 (더 똑똑해지기): 에이전트는 다음을 위해 메모리를 업데이트합니다.
   • 위험: 실수에서 나쁜 습관을 배워 다시 반복할 수 있습니다.
   • 해결책: 모든 실수를 즉시 학습하게 하지 말고, 먼저 인간이 교훈을 검토하게 합니다.

4. 안전성을 어떻게 테스트할까요?

저자들은 에이전트에게 "안전한가요?"라고 물어서는 안 된다고 말합니다. 에이전트가 거짓말할 수 있기 때문입니다. 대신 **통합 평가 허브 (Unified Evaluation Hub)**가 필요합니다.

이를 에이전트를 위한 운전 면허 시험으로 생각하세요.

• 코스: 우리는 맑은 날 (일반 데이터) 에만 테스트하지 않습니다. 폭설, 빙판길, 가짜 도로 표지판 (적대적 공격) 에서 테스트합니다.
• 점수표: 목적지에 도달했는지 (성공률) 만 보지 않습니다. 몇 번이나 적색 신호를 위반했는지 (제약 위반) 나 보행자를 거의 치게 된 횟수 (재앙적 사건 발생률) 도 봅니다.
• '블랙박스': 에이전트가 취한 모든 단계 (추적, trace) 를 기록합니다. 문제가 발생하면 비디오를 재생하여 정확히 어디서 실수했는지 확인할 수 있습니다.

5. 실패의 실제 사례

논문은 이것이 단순히 이론이 아님을 지적합니다. OpenClaw와 같은 시스템처럼 적절한 안전 점검 없이 오픈소스 에이전트가 배포된 실제 사례를 언급합니다.

• 일어난 일: 해커들이 이러한 에이전트들이 비밀번호 보호가 없음을 발견했습니다. 그들은 에이전트를 속여 비밀번호를 훔치게 하고 해커에게 보냈습니다.
• 교훈: 에이전트에게 "초능력" (파일과 인터넷에 대한 접근 권한) 을 부여할 때 그 주위에 "요새"를 구축하지 않으면 안 됩니다. 그렇지 않으면 에이전트는 해커를 위한 뒷문이 됩니다.

6. 큰 트레이드오프

논문은 안전성 vs 유용성이라는 힘든 현실로 결론을 내립니다.

• 에이전트를 매우 안전하게 만들면 (예: 우리에 가두는 것), 업무 수행이 너무 느리거나 너무 신중해질 수 있습니다.
• 에이전트를 매우 유용하게 만들면 (무엇이든 하게 허용), 실수로 무언가를 파괴할 수 있습니다.
• 목표: 논문은 에이전트가 의료나 금융과 같은 고위험 상황에서 신뢰할 수 있을 만큼 안전하면서도 무용하지 않은 균형을 찾아야 한다고 주장합니다.

요약

이 논문은 복잡한 작업을 수행할 만큼 똑똑하지만 사무실을 불태우지 않을 만큼 안전한 디지털 직원을 구축하기 위한 가이드입니다. 우리는 AI 를 마법 상자로 취급하는 것을 멈추고, 엄격한 안전 프로토콜, 지속적인 모니터링, 그리고 문제가 발생했을 때 비상 브레이크를 밟을 '루프 내 인간 (human in the loop)'이 필요한 고위험 산업 기계로 취급하기 시작해야 한다고 말합니다.