Agent Security Meets Regulatory Reality -- A Practitioner Systematization of Autonomous-Agent Threats and Controls in Regulated Financial Systems

개요: 실험실의 쥐에서 실제 현장의 노동자로

대규모 언어 모델(LLM) 에이전트를 매우 똑똑하고 자율적인 인턴이라고 상상해 보세요. 과거에 보안 연구자들은 이 인턴들을 오직 안전하고 빈 교실(실험실)에서만 테스트했습니다. 그들은 가짜 지시로 인턴을 속이거나 물건을 훔치게 만드는 법은 알았지만, 이 인턴들이 보안이 철저한 은행 금고(규제 금융)에 채용되었을 때 어떤 일이 벌어지는지는 알지 못했습니다.

이 논문은 그 간극을 메웁니다. 저자는 이 "인턴"들을 데려와 신용카드 회사의 고객 확인 제도(KYC) 업무를 자동화하는 데 투입했습니다. 그 결과, "교실"에서의 위협은 실재했지만, 실제 세상의 규칙(ECOA, GDPR, EU AI 법과 같은 법률)이 이 업무를 훨씬 더 어렵게 만든다는 것을 발견했습니다. 이는 단순히 해커를 막는 문제가 아니었습니다. 인턴이 내린 모든 결정이 공정하고, 합법적이며, 추적 가능하다는 것을 정부 감사관에게 증명하는 문제였습니다.

---

문제점: "블랙박스" 대 "종이 기록(Paper Trail)"

일반적인 챗봇의 경우, 봇이 이상한 말을 하면 그냥 꺼버리면 그만입니다. 하지만 금융업에서는 AI가 누군가의 대출을 거절했을 때, 은행은 정확히 왜 그랬는지 설명할 수 있어야 하며 현재의 규칙을 준수했음을 증명해야 합니다.

저자는 표준 AI 보안 도구들이 영화의 전체 장면이 아니라 마지막 장면만 녹화하는 보안 카메라와 같다는 것을 발견했습니다. 이러한 도구들은 AI가 어떤 특정 문서를 읽었는지, 어떤 규칙을 사용했는지, 혹은 누가(또는 무엇이) 명령을 내렸는지를 알려주지 못했습니다. 은행에서 이는 재앙입니다. 왜냐하면 법은 완벽한 종이 기록(paper trail)을 요구하기 때문입니다.

해결책: 네 가지 "아키텍처 패턴" (도구 모음)

AI 에이전트를 안전하고 법적으로 만들기 위해, 저자는 시스템에 네 가지 특정 "안전 메커니즘"을 구축했습니다. 이것을 게임의 규칙이라고 생각하면 됩니다.

1. 지휘자 (A2A 컴플라이언스 코레오그래피)

• 비유: 한 명의 인턴이 모든 것을 하는 대신(혼란스러운 상황), 오케스트라 지휘자를 상상해 보세요.
• 작동 방식: "지휘자" 에이전트는 직접 업무를 수행하지 않습니다. 대신 네 명의 전문 하위 에이전트를 고용합니다: 한 명은 신분증을 확인하고, 한 명은 신용 점수를 확인하며, 한 명은 은행 정책을 확인하고, 마지막 한 명은 최종 결정을 내립니다.
• 결과: 모든 단계가 별도의 기록된 행동이기 때문에, 은행은 전체 "콘서트"를 다시 재생하여 결정이 어떻게 내려졌는지 정확히 파악할 수 있습니다. 이를 통해 3일 걸리던 수동 프로세스를 신청자의 80%에 대해 당일 자동화된 프로세스로 전환했습니다.

2. 도장을 찍는 사서 (감사를 위한 Grounded-RAG)

• 비유: 결정을 내리기 위해 도서관에서 책을 가져오는 인턴을 상상해 보세요. 만약 인턴이 오래된 책(구 버전 정책)을 가져온다면 실수를 할 수 있습니다.
• 작동 방식: 시스템은 엄격한 사서처럼 작동합니다. 인턴이 정책을 읽기 전에, 인간이 해당 특정 버전의 책에 "현재 유효함"이라는 도장을 찍고 서명해야 합니다. 시스템은 어떤 "도장이 찍힌" 책이 사용되었는지 정확히 기록합니다.
• 결과: 은행은 감사관에게 "우리는 오래된 규칙을 사용한 것이 아니라, 어제 승인된 바로 그 버전을 사용했습니다"라고 증명할 수 있습니다.

3. 모든 호출에 부착된 ID 배지 (Case-ID 전파)

• 비유: 배달 기사가 50곳의 목적지를 방문한다고 상상해 보세요. 만약 그들이 어떤 패키지가 어느 집의 것인지 적어두지 않는다면, 제대로 배달했는지 증명할 수 없습니다.
• 작동 방식: AI 에이전트가 도구(예: 신용 점수 확인)에 무언가를 요청할 때마다, 반드시 고유한 Case ID(추적 번호와 같은 역할)를 해당 요청에 첨부해야 합니다.
• 결과: 고객이 불만을 제기하면, 은행은 그 하나의 Case ID를 가지고 결정의 전체 여정을 추적하여, 모든 도구 호출을 해당 특정 인물과 연결할 수 있습니다.

4. 레드액션 필터 (Redaction Proxy)

• 비유: 편지를 외국 우체국으로 보낸다고 상상해 보세요. 당신은 그들이 당신의 집 주소나 주민등록번호를 보길 원치 않지만, 여전히 편지가 분류되기를 원합니다.
• 작동 방식: AI가 고객 데이터를 "두뇌"(모델)로 보내기 전에, 필터가 이름, 주소, 민감한 번호 등을 제거하여 결정에 필요한 순수한 사실들만 남깁니다.
• 결과: AI는 결정을 내릴 수 있지만, 개인 정보를 실제로 "보지는" 못합니다. 이는 AI 서비스가 다른 국가에서 호스팅되더라도 데이터를 안전하게 유지해 줍니다.

---

"부정적 결과": 무엇이 잘못되었나?

이 논문은 무엇이 완벽하게 작동하지 않았는지에 대해서도 솔직하게 밝히고 있습니다. 이것들은 실제 현장에서 발견된 "버그"들입니다.

1. "오래된 정책" 오류:

   • 현상: 은행이 고객을 위해 더 용이하도록 규칙을 업데이트했지만, "사서"(시스템)는 인간의 도장이 아직 찍히지 않았기 때문에 여전히 이전의 더 엄격한 규칙을 사용하고 있었습니다.
   • 교훈: AI가 "해킹"당한 것이 아니라, 기술적으로 만료된 규칙을 따랐을 뿐입니다. 시스템은 인간의 개입 없이는 "오래된 것"과 "새로운 것"을 구분할 수 없었습니다.

2. "도구 계약(Tool Contract)" 불일치:

   • 현상: AI 도구들(하위 에이전트들)이 "Case ID" 배지를 달고 다니도록 설계되지 않았습니다.
   • 교훈: 저자는 모든 도구에 ID 배지를 강제로 착용시키기 위해 모든 개별 도구의 코드를 다시 작성해야 했습니다. 이는 원래의 보안 가이드에는 경고되어 있지 않았던 매우 크고 비용이 많이 드는 개조 작업이었습니다.

3. "9명 중 1명"의 제외:

   • 현상: 보안을 위해 자동화된 시스템은 두 가지 연락 수단(이메일 + 전화)을 요구했습니다. 약 9명 중 1명은 연락 수단이 하나뿐이었습니다.
   • 교훈: AI는 그들을 도울 수 없었습니다. 이는 보안 실패가 아니라 설계상의 한계였습니다. 시스템은 이러한 기술적 규칙에 의해 제외된 정당한 고객들을 서비스할 수 없었습니다. 논문은 현재의 법률이 이러한 기술적 규칙에 의해 제외된 사람들에 대해 은행이 무엇을 해야 하는지 명확히 규정하고 있지 않음을 언급합니다.

결론

이 논문은 금융 분야에서 AI를 보안하는 것은 새로운 해킹 방지법을 발명하는 것이 아니라고 결론짓습니다. 그것은 지루하고 힘든 일에 관한 것입니다. 즉, 모든 행동이 기록되고, 모든 권한이 최소화되며, 모든 규칙이 엄격하게 집행되도록 만드는 것입니다.

현재의 AI 도구들은 좌석 벨트나 블랙박스가 없는 스포츠카와 같습니다. 빠르고 멋지지만, 공공 도로(규제 금융)에서 운전하려면 좌석 벨트와 카메라를 직접 만들어야 합니다. 이 논문은 그것을 어떻게 하는지에 대한 청사진을 제공합니다.