💰 quantitative finance

Governing Agentic AI in FinTech

이 논문은 핀테크 분야에서 에이전트형 AI의 주요 거버넌스 제약 요인은 역량이 아니라 검증 가능성이라고 주장하며, '검증 가능성 격차(Verifiability Gap)'를 도입하고 현재의 시스템이 중대한 금융 의사결정의 방어 가능한 위임을 위해 요구되는 재현성과 설명 가능성이 부족함을 실증적 연구를 통해 입증한다.

원저자: Henry Han

게시일 2026-08-13

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Henry Han

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 우주선의 선장이라고 상상해 보십시오. 하지만 직접 배를 조종하는 대신, 항법을 처리할 수 있는 아주 똑똑하고 빠른 로봇 승무원을 고용했습니다. 당신이 "붉은 행성으로 가자"라고 말하자, 그들은 허락을 구하기 위해 매번 묻는 대신 지도를 확인하고, 연료를 계산하고, 추진기를 점화하며 빠르게 달려 나갑니다. 이것이 바로 **에이전틱 AI(Agentic AI)**의 세계입니다. 단순히 대화를 나누거나 시를 쓰는 것이 아니라, 대출을 승인하거나, 주식을 사고, 돈을 관리하는 것처럼 실제로 '행동'하는 인공지능 말입니다. 오랫동안 과학자들과 금융가들은 "블랙박스" 문제, 즉 로봇이 결정을 내리지만 아무도 그것이 '왜' 또는 '어떻게' 이루어졌는지 모르는 현상을 걱정해 왔습니다. 일반적인 해결책은 로봇의 두뇌를 반복해서 실행하여 동일한 답이 나오는지 확인하는 것이었습니다. 하지만 여기에 반전이 있습니다. 만약 로봇의 두뇌가 당신이 들여다볼 때마다 변한다면 어떻게 될까요? 만약 로봇이 자신의 단계를 잊어버리거나, 항해에 사용하는 도구가 제작사에 의해 교체된다면 어떻게 될까요? 이 논문은 무섭지만 꼭 필요한 질문을 던집니다. 만약 로봇이 오늘 거대한 금융 결정을 내린다면, 우리는 내일 그것이 정확히 어떻게 일어났는지 증명할 수 있을까요, 아니면 그 증거가 공중으로 사라져 버릴까요?

Henry Han의 저서 "금융 기술에서의 에이전틱 AI 거버넌스(Governing Agentic AI in FinTech)"는 이 미스터리를 깊이 파고듭니다. 저자는 가장 큰 문제가 이러한 AI 에이전트가 결정을 내릴 만큼 똑똑한가가 아니라, 우리가 그들을 **검증(verify)**할 수 있느냐 하는 것이라고 주장합니다. 그는 이를 **검증 가능성 격차(Verifiability Gap)**라는 개념으로 설명합니다. 이렇게 생각해 보십시오. 당신이 로봇에게 100만 달러를 투자하라고 맡겼습니다. 로봇은 거래를 수행합니다. 나중에 감사관이 "영수증을 보여달라"고 요청합니다. 만약 로봇이 그 거래를 어떻게 했는지에 대한 정확한 디지털 흔적을 보여줄 수 없거나, 혹은 로봇이 보여주는 '영수증'이 실제로 사용했던 것과 다르다면, 당신이 요청한 내용과 당신이 증명할 수 있는 사실 사이에 격차가 발생합니다. 논문은 우리가 AI 에이전트에게 더 많은 통제권을 부여할수록 이 격차가 넓어지고 있으며, 우리는 눈을 가린 채 비행하고 있을지도 모른다고 제안합니다.

이를 알아내기 위해 연구자는 대출 승인 및 주식 거래와 같은 금융 시나리오를 사용하여 세 가지 다른 "실험실 실험"을 수행했습니다. 그 결과는 다음과 같으며, 이는 약간의 반전이 있습니다.

첫째, 그는 AI의 "두뇌"가 업데이트될 때 어떤 일이 발생하는지 테스트했습니다. 그는 강력한 AI 모델을 사용하여 185일 동안 동일한 32가지 금융 사례를 실행했습니다. 지침은 동일했음에도 불구하고, AI의 결정은 표류하기 시작했습니다. 후기 업데이트에서 AI는 더 보수적으로 변했으며, 32가지 사례 중 5가지에 대해 마음을 바꿨습니다. 하지만 진짜 핵심은 이것입니다. AI를 만든 회사가 사용자가 AI의 사고 방식을 제어할 수 있는 "다이얼"을 제거했다는 것입니다. 그들은 사용자가 결정의 재현성을 높일 수 있는 숫자(랜덤 시드)를 설정할 수 있는 능력을 없앴습니다. 이는 마치 로봇 선장이 갑자기 우주선의 엔진을 바꾸고는 제어실 문을 잠근 채, "더 이상 조절 장치를 만질 수 없습니다"라고 말하는 것과 같습니다. 연구 결과, 가능한 가장 엄격한 통제 하에서도 로컬 버전의 AI는 자신의 행동을 완벽하게 반복할 수 있었지만(320회 중 320회), 상업용 호스팅 버전은 그러지 못했습니다(960회 중 959회, 320회 중 319회). AI는 방어 가능한 결정을 내리고 있었지만, 은행은 그 결정을 재현할 수 있는 도구들이 사라졌기 때문에 그것이 정확히 어떻게 이루어졌는지 증명할 수 없었습니다.

둘째, 논문은 팀에 더 많은 로봇을 추가했을 때 어떤 일이 일어나는지 살펴보았습니다. 한 명의 로봇이 업무를 수행하는 것과 50명의 로봇 팀이 서로 쪽지를 주고받는 것을 상상해 보십시오. 연구자는 더 많은 로봇을 추가하는 것이 단순히 시스템을 복잡하게 만드는 것을 넘어, 아무도 눈치채지 못하는 사이에 게임의 '규칙' 자체를 바꾼다는 것을 발견했습니다. 이는 마치 이어달리기에서 바톤이 너무 많이 전달되어, 결승선에 도착한 주자가 누가 경기를 시작했는지 전혀 모르는 것과 같습니다. 이러한 다중 에이전트 설정에서 최종 결정(판결)은 안정적으로 보일 수 있지만, 그곳에 도달하는 과정은 엉망이었습니다. 실제로 연구에 따르면 팀 규모가 커질수록 AI는 안전을 위해 모든 사례에 대해 동일한 결정을 내리기 시작했습니다. 이는 혼란스러울 때 모든 시험 문제에 그냥 "모름"이라고 적는 학생과 같습니다. AI는 계속해서 같은 답을 내놓기 때문에 매우 신뢰할 수 있는 것처럼 보였지만, 실제로는 사례 간의 차이점을 구분하는 사고를 멈춘 상태였습니다. 논문은 이를 "퇴보적 결과 재현성(degenerate outcome reproducibility)"이라고 부릅니다. 즉, 안정적으로 보이지만, 사실은 상황 간의 구분을 하지 못하기 때문에 망가진 상태라는 것입니다.

마지막으로, 연구자는 이 문제가 단순히 복잡한 AI 때문인지 확인하기 위해 투명한 신용 모델(블랙박스가 아닌 모델)을 테스트했습니다. 그는 동일한 모델의 구형과 신형 두 버전을 사용했습니다. 두 모델은 거의 동일했음에도 불구하고, 신형 모델은 1,937건의 대출 신청 중 23건의 결정을 변경했습니다. 한 신청자는 구형 모델에서는 거절되었으나, 신형 모델에서는 점수가 아주 미세하게 변했다는 이유만으로 인간의 검토 대상으로 분류되었습니다. 무서운 점은, 만약 당신이 새 모델을 사용하여 이전의 결정을 재현하려고 시도한다면, 그것이 불가능하다는 것입니다. 새 모델은 그 자체로는 완벽하게 안정적이지만, 과거의 기록을 재현할 수는 없습니다. 이는 마치 레시피에서 소금의 양을 아주 조금 바꾼 뒤 케이크 맛이 달라졌는데, 예전 레시피를 이미 버려버려서 원래의 맛을 다시 맛볼 수 없는 것과 같습니다.

그렇다면 이 모든 것이 의미하는 바는 무엇일까요? 논문은 우리가 단순히 AI가 일을 잘하기를 바라며 낙관해서는 안 된다고 제안합니다. AI가 똑똑하다고 해서 반드시 책임감 있는 것도 아니라고 가정해서는 안 됩니다. 저자는 **증거 기반 위임(evidence-contingent delegation)**이라는 새로운 사고방식을 제안합니다. 이는 우리가 AI 에이전트가 어떻게 그 일을 해냈는지 정확히 증명할 수 있는 완벽하고 끊김 없는 "증거 묶음"을 유지할 수 있는 한에서만 큰 결정을 내리도록 허용해야 한다는 것을 의미합니다. 만약 AI의 두뇌가 바뀌거나, 사용하는 도구가 바뀌거나, 로봇 팀이 너무 크고 복잡해진다면, 우리는 멈춰 서서 "잠깐, 우리는 더 이상 이것을 증명할 수 없다"라고 말해야 합니다. 우리는 속도를 늦추거나, 더 상세한 로그를 남기거나, 인간이 개입하여 작업을 재검토하도록 해야 할 수도 있습니다. 이 논문은 AI가 나쁘다고 말하는 것이 아닙니다. 금융 분야에서 AI가 진정으로 유용해지려면, 설령 로봇이 다음 과제로 넘어가더라도 우리가 항상 뒤를 돌아보며 "네, 이것이 정확히 일어난 과정입니다"라고 말할 수 있어야 한다는 것입니다. 그 증거가 없다면, 로봇이 배를 운전하고 있을지 몰라도, 배가 충돌했을 때 책임을 지는 것은 바로 우리 자신이 될 것입니다.

기술 요약: 핀테크에서의 에이전틱 AI 거버넌스

문제 제lemnt (Problem Statement)
금융 기관들은 점차 중대한 결정(예: 신용 거절, 거래 실행)을 에이전틱 AI 시스템에 위임하고 있다. 단순히 예측이나 콘텐츠를 생성하는 전통적인 모델과 달리, 에이전틱 시스템은 목표를 해석하고, 이를 하위 작업으로 분해하며, 도구와 메모리를 조정하고, 최소한의 인간 감독 하에 행동한다. 식별된 핵심 거버넌스 과제는 단순히 거대언어모델(LLM)의 '블랙박스'적 불투명성이 아니라, 주요 안전장치로서의 재현성 상실이다.

본 논문은 에이전틱 AI 거버넌스의 구속 요인이 역량이 아니라 **검증 가능성(verifiability)**이라고 주장한다. 에이전트가 자율적으로 행동할 때, 그 책임은 법적 및 운영적으로 금융 기관에 남는다. 그러나 에이전틱 시스템의 분산된 특성(모델, 도구, 메모리, 오케스트레이션 및 제공업체 인프라에 걸쳐 있음)은 **검증 격차(Verifiability Gap)**를 발생시킨다. 이 격차는 위임된 권한에 의해 요구되는 검증 수준과, 특정 결정 이후에 유지되는 설명 가능성 및 재현성 사이의 양(+)의 차이로 정의된다. 본 논문은 현재의 경험적 구제책(모델 재실행)이 더 이상 작동하지 않을 수 있다고 상정하는데, 이는 제공업체의 릴리스가 과거의 행동을 변경하고, 실행 제어(온도 또는 랜덤 시드 등)가 철회되며, 오케크스트레이션 아키텍처가 명시적인 업데이트 없이도 결정 규칙을 변경하는 잠재적 정책 계층을 도입하기 때문이다.

연구 방법론 (Methodology)
본 연구는 이론적 프레임워크와 세 가지 통제된 메커니즘 테스트를 결합하여 사용한다. 이 연구들은 모집단 수준의 유병률을 추정하는 것이 아니라, 검증 능력을 약화시키는 특정 메커니즘을 격리하여 분석한다.

이론적 구성: 저자는 검증 격차( $G_{dq}$ )를 위임된 권한에 의해 요구되는 검증( $\rho_\sigma(A_d)$ )과 유지되는 검증 능력( $V_{dq}$ )의 차이로 수학적으로 정의한다. 또한, 에이전트 간의 인과적으로 중요한 핸드오프(handoff)가 증거를 압축하여, 개별 에이전트가 안정적이더라도 엔드 투 엔드(end-to-end) 재구성을 불가능하게 만드는 핵심 아키텍처 메커니즘으로서 **직렬 의존성(serial dependence)**을 도입한다.
연구 1 (제공업체 지배력): 이 연구는 제공업체 측의 변화가 재현성에 미치는 영향을 조사한다. 185일 동안 4개의 날짜별 Anthropic Claude Opus 모델 릴리스에 걸쳐 구축된 32개의 금융 사례를 사용한다. 세 가지 조건을 테스트한다:
- 릴리스 타임라인: 날짜별 릴리스에 따른 최빈 판결(modal verdicts) 비교.
- 디코딩 제어: 로컬 모델에서 온도(temperature) 및 랜덤 시드 가용성(고정됨 vs 철회됨) 변화에 따른 영향.
- 실행 환경: 고정된 제어 기능이 있는 로컬 실행과 호스팅된 엔드포인트 간의 비교.
연구 2 (오케스트레이션 및 아키텍처): 이 연구는 다중 에이전트 오케스트레이션의 효과를 격리한다. 로컬에서 서빙되는 모델(llama3.2:3b)과 동일한 32개 사례를 사용하여, 에이전트 수를 1개에서 50개까지 스윕(sweep)한다. 현재 결과 재현성, 정확한 트레이스(trace) 재현성, 그리고 "출력 붕괴(output collapse)"를 탐지하기 위한 판결 차별화(verdict differentiation) 능력을 측정한다.
연구 3 (결정론적 모델의 역사적 충실도): 생성적 확률성을 투명한 로지스틱 신용 모델(FICO HELOC 데이터셋 학습)의 모델 리프레시 효과와 분리하기 위해 이 연구를 수행한다. 현재 모델이 이전 버전의 결정을 재현할 수 있는지 테스트하며, 이때 집계된 성능(AUC)은 안정적으로 유지된다.

주요 기여 (Key Contributions)
본 논문은 정보 시스템(IS) 및 핀테크 연구에 세 가지 주요 기여를 한다:

권한-증거 관계로서의 검증 가능성: 거버넌스를 모델의 투명성에서 시스템의 검증 가능성으로 재정의한다. 검증 격차는 모델의 일반적 속성이 아니라, 검증자, 증거 표준 및 감사 지연에 따라 달라지는 특정 결정 에피소드에 대한 결핍이다.
다층적 거버넌스 이론: 격차가 기업 수준(방어 가능한 위임 제한), 규제 수준(고정되지 않은 변경으로 인한 역사적 충실도 상실), 네트워크 수준(공유 제공업체를 통한 동기화된 감사 실패)에서 어떻게 나타나는지를 설명하는 7가지 명제를 제안한다.
재현성 프로필로서의 재현성: 재현성을 단일 스칼라 지표로 사용하는 것에 반대한다. 대신 다음 네 가지 타겟을 포함하는 프로 profile을 정의한다:
- 현재 결과 재현성: 현재 시스템의 안정성.
- 역사적 결과 재현성: 과거 결정을 복구하는 능력.
- 실질적 과정 재현성: 결정 경로의 재구성.
- 정확한 트레이스 재현성: 전체 실행 기록의 동일성.
  또한, 시스템이 사례를 구분하지 못하는 "퇴행적" 안정성을 식별하기 위한 진단 도구로 판결 차별화를 도입한다.

결과 (Results)

연구 1 (제공업체 제어): 제공업체의 릴리스는 기관의 변경이 없음에도 불구하고 역사적 금융 행동(예: 매수에서 보유로의 거래 결정 변화)을 변경했다. 결정적으로, 제공업체는 실행 제어(temperature, top_p, top_k)를 철회했으며 랜덤 시드를 노출하지 않았다. 고정된 제어를 가진 로컬 모델은 320/320번의 실행을 재현했으나, 호스팅된 모델은 가장 엄격한 제어 하에서도 각각 1/320 및 1/960번의 실행 재현에 실패했다. 이는 기관이 제어 표면(control surface)을 소유하지 못하면 재현성을 보장할 수 없음을 보여준다.
연구 2 (오케스트레이션): 단일 호출에서 다중 에이전트 파이프라인으로 아키텍처를 변경하면 운용 결정 규칙이 변경되었다(최빈 판결이 32개 중 16개 사례에서만 일치). 정확한 트레이스 재현성은 모든 구성에서 0이었으나(어떤 실행도 전체 기록을 반복하지 못함), 현재 결과 재현성은 더 큰 규모(40~50개 에이전트)에서 회복되는 것처럼 보였다. 그러나 이 회복은 판결 차별화(DV가 0.086으로 하락)의 붕괴와 동시에 발생했으며, 이는 시스템이 미세한 결정을 내리는 대신 포괄적인 행동(예: 거절 또는 에스컬레이션)을 기본값으로 설정하고 있음을 나타낸다. 즉, 역량이 높은 시작점을 제공할 수는 있으나 감사 가능성을 구매해주지는 않는다.
연구 3 (역사적 충실도): 거의 동일한 집계 성능(AUC ~0.79)을 가진 두 결정론적 신용 모델은 리프레시 후 1,937개 사례 중 23개 사례에서 서로 다른 행동을 생성했다. 특정 사례(인덱스 2270)는 미세한 점수 변화로 인해 정책 임계값을 넘으면서 '거절'에서 '참조'로 변경되었다. 현재 모델은 자신의 '참조' 결정은 완벽히 재현했지만, 과거의 '거절'은 결코 복구할 수 없었다. 또한, 현재 모델이 생성한 설명은 현재의 결정에는 충실했으나, 역사적 결정에는 증거적으로 응답하지 못했다.

의의 및 주장 (Significance and Claims)
본 논문은 **증거 기반 위임(evidence-contingent delegation)**이 필수적인 거버넌스 대응이라고 주장한다. 자율적 권한은 보유된 증거가 그 행사를 입증할 수 있는 동안에만 방어 가능하다. 연구 결과는 다음과 같다:

정적 로그는 불충분하다: 기관은 역사적 재생(replay)을 가능하게 하기 위해 "실행 가능한 증거 번들"(입력값, 모델 버전, 도구 상태 및 정책 규칙)을 보존해야 한다.
오케스트레이션은 정책 계층이다: 아키텍처 변경(에이전트 추가, 토폴로지 변경)은 명시적인 정책 업데이트 없이도 금융 결정을 변경할 수 있으며, 이는 잠재적 정책 계층으로 작용한다.
안정성 지표는 오해의 소지가 있다: 높은 결과 재현성은 "출력 붕합"(차별성 상실)이나 "트레이스 디커플링"(안정적인 판결과 재현 불가능한 경로 간의 괴리)을 은폐할 수 있다.
제공업체 의존성은 시스템적 리스크를 창출한다: 공유된 제공업체의 업데이트는 금융 네트워크 전반에 걸쳐 동기화된 감사 실패를 일으킬 수 있으며, 기관은 재생에 필요한 제어권을 단독으로 보존할 수 없다.

본 논문은 인간의 감독이 **증거에 의존(evidence-contingent)**해야 한다고 결론짓는다. 보유된 검증 능력이 위임된 권한에 의해 요구되는 표준보다 낮아질 경우(모델 드리프트, 오케스트레이션 변경 또는 제어 상실로 인해), 기관은 자율성을 축소하거나, 증거 보존을 강화하거나, 결정을 실질적인 인간 검토로 라우팅해야 한다. 목표는 최대의 자율성이 아니라 **방어 가능한 자율성(defensible autonomy)**이다.

기술 요약: 핀테크에서의 에이전틱 AI 거버넌스

유사한 논문