기술 요약: 정보에서 위임으로: 인간-AI 금융 의사결정 매핑

문제 정의

대규모 언어 모델(LLM)이 수동적인 정보 검색 도구에서 능동적인 의사결정 지원 파트너로 진화함에 따라, 금융과 같은 고위험 영역에서 의사결정 권한이 인간과 AI 사이에 어떻게 분배되는지 이해하는 데 중요한 격차가 존재한다. 기존 연구들은 주로 금융 AI 상호작용을 주제(예: "투자" 또는 "세금")로 특징짓거나, 고립된 상태에서 AI 출력의 품질을 평가하는 데 집중해 왔다. 이러한 접근 방식은 광범위한 인간 의사결정 과정 내에서 AI의 **행동적 역할(behavioral role)**을 포착하지 못한다. 구체적으로, 사용자가 AI를 단순히 선택을 위한 정보 제공(inform) 용도로 활용하는지, 전략을 **형성(shape)**하는 데 사용하는지, 아니면 시스템에 실행 및 자율적 의사결정을 **위임(delegate)**하는지에 대한 정량적 데이터가 부족하다. 본 논문은 주제 분류를 넘어 의사결정 권한의 할당을 분석하는 행동 측정 프레임워크의 필요성을 다룬다.

방법론

데이터 수집 및 전처리

본 연구는 2025년 8월부터 10월 사이 ChatGPT와 Gemini에서 수집된 미국 및 인도의 실제 사용자 프롬프트 153만 개(사용자 6,304명) 코퍼스를 활용한다.

• 인구 통계: 미국 샘플(2,499명)은 인구 조사 벤치마크와 비교했을 때 여성, 젊은 층, 저소득층 비중이 높다. 인도 샘플(3,805명)은 남성 및 젊은 층 비중이 압도적이다.
• 전처리:
  • 번역: 인도 코호트의 비영어권 대화(144k 메시지)는 교차 시장 비교 가능성을 보장하기 위해 Google 번역을 사용하여 영어로 번사되었다.
  • 채팅 세분화: 단일 세션 내의 "주제 이탈(topic drift)" 문제를 해결하기 위해, 원시 대화를 주제별 단위인 **"서브챗(subchats)"**으로 세분화하였다. 세분화 규칙은 저빈도 용어 중복 및 프롬프트 길이에 기반하여 적용되었으며, 결과적으로 약 50.5만 개의 서브챗이 생성되었다.

모델링 프레임워크

저자들은 금융 상호작용을 분류하기 위한 3단계 NLP 파이프라인을 제안한다:

1. 금융 서브셋 식별:

   • 작업: 금융 서비스, 소득 창출 또는 돈과 관련된 문제를 논의하는지 감지하는 이진 분류.
   • 모델: 5.8k개의 수동 주석이 달린 서브챗에 미세 조정된 LongFormer 모델 (4,096 토큰의 컨텍스트 창을 고려하여 선택됨).
   • 성능: 테스트 세트에서 96.5% 정확도 및 97.3% F1 달성.

2. 금융 서비스(FS) 태깅:

   • 작업: 금융 서브챗 내의 엔티티를 9가지 카테고리(예: 리테일 뱅킹, 투자, 세금, 보험) 및 그 하위 카테고리로 구성된 MECE(상호 배제 및 전체 포괄) 분류 체계에 매핑.
   • 방법: 엔티티 추출 및 표준화를 위한 GPT-4o-mini 사용과 결정론적 분류 체계 매핑을 결합한 2단계 프로세스.
   • 검증: 빈번한 키워드에 대한 수동 검토를 통해 허위 양성(false positives)을 필터링하여 2.7k 개의 매칭된 FS 키워드로 구성된 큐레이션된 사전 구축.

3. 의도 및 의사결정 권한 분류:

   • 작업: 12개 카테고리에 걸친 사용자 의도의 다중 레이블, 다중 클래스 분류 및 이를 세 가지 단계의 **의사결정 권한(DA)**으로 매핑:
     • 레벨 1 (Inform): 정보 제공/설명.
     • 레벨 2 (Shape): 사용자의 선택에 영향을 미치는 분석적/자문 역할.
     • 레벨 3 (Act): 행동을 실행하는 트랜잭션/자율적 역할.
   • 모델: 3.4k 개의 주석이 달린 서브챗에 미세 조정된 희소 주의력 트랜스포머(sparse-attention Transformer)인 BigBird 모델. 고수준의 에이전시(레벨 3) 사례 부족을 해결하기 위해 GPT-5.5로 생성된 합성 데이터로 데이터셋을 증강함.
   • 성능: 레이블별 확률 임계값 설정을 통해 Micro-F1을 68.0에서 70.6으로 개선.

4. 토픽 모델링:

   • 방법: 구체적인 금융 활동과 시장별 차이를 식별하기 위해 Harrier 임베딩 모델을 사용하여 요약된 서브챗에 BERTopic을 적용.

주요 기여

1. 행동 측정 프레임워크: 본 논문은 행동적 의도(사용자가 구하는 것)와 위임된 의사결정 권한(사용자가 AI에 부여하는 통제권)을 결합한 새로운 프레임워크를 도입한다. 이는 분석의 관점을 "어떤 주제가 논의되는가"에서 "AI가 의사결정 과정에서 어떤 역할을 수행하는가"로 전환시킨다.
2. 대규모 경험적 베이스라인: 본 연구는 미국과 인도라는 두 개의 뚜렷한 시장에서 인간-AI 금융 상호작용을 특성화하는 최초의 대규모 연구로서, 점점 더 에이전트화되는 AI 시스템을 평가하기 위한 베이스라인을 제공한다.

주요 결과

금융 상호작용의 유병률

금융 서비스는 대화형 AI의 상당한 활용 사례이다. 연구 기간 동안 약 50%의 미국 사용자와 44.3%의 인도 사용자가 적어도 한 번 이상의 금융 관련 대화에 참여했다. 금융은 미국 서브챗의 5.1%, 인도 서브-챗의 **6.3%**를 차지했다.

의사결정 권한 분포

가장 중요한 발견은 정보 제공 및 자문 역할이 실행 역할보다 압도적으로 우세하다는 점이다:

• 레벨 1 (Inform): 대부분의 상호작용. 미국과 인도 금융 서브챗의 각각 **63.5%**와 **72.1%**가 순수하게 정보 제공 목적이었다 (예: "ISA 허용 한도가 얼마인가요?").
• 레벨 2 (Shape): 상당 부분의 상호작용. 미국과 인도 서브챗의 각각 **58.6%**와 **49.7%**가 AI가 결정을 형성하는 데 관여했다 (예: "재융자를 해야 할까요?", "이 은행들을 비교해 주세요").
• 레벨 3 (Act): 실행의 위임은 드물다. 미국 **0.3%**와 인도 **0.1%**의 서브챗만이 AI가 사용자를 대신해 행동하는 경우를 포함했다. 이들은 거의 예외 없이 지시형 작업(예: "$500 이체해줘")이나 예산 규칙에 국한되었으며, 자율적인 금융 결정(예: "내 돈을 가장 좋은 옵션에 투자해줘")을 위임하는 사례는 발견되지 않았다.

도메인 및 의도 특이성

• 리테일 뱅킹 & 신용 및 결제가 두 시장 모두에서 지배적인 카테고리이다.
• 투자는 미국(24.6%)에 비해 인도(34.8%)에서 더 빈번하게 나타난다.
• 보험 및 공적 부조에 대한 논의는 시장 성숙도와 특정 사회 안전망 구조를 반영하여 미국에서 현저히 높게 나타난다.
• 행동적 차이: 인도 사용자는 AI를 금융 학습 및 교육에 더 많이 활용하는 반면, 미국 사용자는 금융 문제 해결(예: 사기, 계좌 접속) 및 개인 금융 분석에 더 많이 의존한다.

구체적 활동

토픽 모델링 결과, 고수준 카테고리는 중첩되지만 구체적인 활동은 다르다는 것이 드러났다. 미국 사용자는 보험 보장 범위와 교육 금융을 자주 논의하는 반면, 인도 사용자는 주식 분석, 트레이딩, 카드 보안 등에 더 집중한다.

의의 및 주장

본 논문은 자신의 주요 의의가 진화하는 금융 분야 내 AI의 역할에 대한 행동적 베이스라인을 구축하는 데 있다고 주장한다.

• 현재 상태: 저자들은 현재의 LLM이 자율적 에이전트라기보다는 인간의 판단을 보완하는 의사결정 지원 기술로서 기능한다고 단언한다. AI가 결정을 형성하지만 실행하지는 않는 "중간 행동 공간"이 현재의 지배적인 상호작용 모드이다.
• 시사점: 이 프레임워크를 통해 연구자, 규제 기관 및 금융 기관은 정보 검색에서 위임으로의 전환을 체계적으로 추적할 수 있다. 저자들은 기존의 소비자 보호 프레임워크가 단순한 결정의 실행(레벨 3)뿐만 아니라 결정의 형성(레벨 2)을 다룰 수 있도록 진화해야 할 수도 있다고 제안한다.
• 겸손한 태도: 본 논문은 AI가 자율적인 금융 관리를 할 준비가 되었다고 주장하는 것이 아니다. 대신, 금융 서비스가 주요 활용 사례임에도 불구하고 실행의 위임은 여전히 드물다는 점을 강조하며, 완전한 에이전트형 AI로의 전환이 아직 초기 단계임을 나타낸다. 이 프레임워크는 이러한 전환이 일어나는 과정을 측정하기 위한 도구로 제시된다.