Learning Dispute Structure for Settlement Prediction in Financial ADR: A Multi-Task and Cross-Institutional Approach

법률의 세계를 돈, 계약, 약속을 두고 다투는 사람들이 모인 거대하고 시끄러운 시장이라고 상상해 보세요. 보통 두 사람이 의견이 일치하지 않으면 법정에서 판사에게 가는데, 이는 엄청난 시간이 걸리고 비용도 많이 드는 고위험 심판 경기와 같습니다. 하지만 이 싸움을 해결하는 더 조용하고 빠른 방법인 '대안적 분쟁 해결(ADR)'이라는 것이 있습니다. ADR을 중립적인 조력자가 양측의 당사자들이 법정에 발을 들이지 않고도 서로 악수를 하고 문제를 해결하도록 돕는 특화된 중재 부스로 생각해보세요. 금융 세계에서 이러한 부스들은 매우 중요한데, 돈 문제가 매일 더 복잡해지고 있으며, 때로는 사람들이 깨진 거래를 바로잡을 빠르고 공정한 방법이 필요하기 때문입니다.

이제 컴퓨터에게 그 중재자가 되는 법을 가르친다고 상상해 보세요. 여기서 '자연어 처리(NLP)'가 등장합니다. NLP는 컴퓨터에게 인간의 단어를 읽고 이해하는 법을 가르치는 과학의 한 분야로, 마치 로봇에게 사전과 인간이 실제로 말하고자 하는 바를 파악할 수 있는 두뇌를 주는 것과 같습니다. 연구자들이 던져온 큰 질문은 이것입니다: 우리가 컴퓨터에게 금융 분쟁의 양측 주장을 보여주고, 그들이 성공적으로 합의(결렬 없이 해결)할지 아니면 화가 난 채로 떠날지를 예측하도록 가르칠 수 있을까? 이것은 마치 영화의 첫 두 페이지를 읽고 결말을 추측하려는 것과 비슷합니다. 만약 우리가 이를 해낼 수 있다면, 분쟁을 더 빠르게 해결하고, 모두의 시간과 비용을 절약하며, 나아가 문제 징후를 조기에 포착함으로써 싸움이 발생하는 것을 미리 방지할 수도 있을 것입니다.

일본 노무라 연구소의 타무라 코타로가 작성한 이 논문은 바로 이 과제에 깊이 파고듭니다. 저자는 일본의 다섯 가지 다른 기관으로부터 실제 금융 분쟁 사례들을 대량으로 수집하여 10,307개의 이야기가 담긴 통일된 '라이브러리'를 구축했습니다. 이 라이브러리의 각 이야기는 두 가지 주요 부분, 즉 불만을 제기하는 사람(민원인)이 한 말과 피고가 된 회사(피응답자)가 한 말로 구성되어 있습니다. 목표는 이 쌍을 이룬 주장들을 읽고 그 결과를 추측하는, 즉 그들이 합의할 것인지 아니면 하지 않을 것인지를 맞히는 똑똑한 컴퓨터 모델을 만드는 것이었습니다.

하지만 여기서 저자가 도입한 기발한 반전이 있습니다. 단순히 컴퓨터에게 결과를 맞히라고 요구하는 대신, 논문의 제안은 컴퓨터에게 논쟁의 '구조'를 이해하도록 가르쳐야 한다는 것입니다. 이것은 탐정에게 범인이 누구인지 맞히라고 할 뿐만 아니라, 먼저 그것이 어떤 종류의 범죄인지 식별하도록 가르치는 것과 같습니다. 저자는 분쟁을 '정보 문제'(예: 위험성을 잘 설명하지 못했을 가능성), '적합성 이슈'(예: 제품이 고객에게 맞지 않았을 가능성), '부적절한 행위'(예: 승인되지 않은 행동), 또는 '외부 요인'(예: 시장 폭락)과 같은 카테로 분류하는 특별한 '태깅 시스템'을 만들었습니다.

이 논문은 '멀티태스크(다중 작업)' 학습 모델을 제안합니다. 이것은 두 가지 시험을 동시에 치르는 학생과 같습니다. 한 시험은 합의 여부를 맞히는 것이고, 다른 시험은 분쟁의 유형을 라벨링하는 것입니다. 핵심 아이디어는 컴퓨터가 싸움의 '유형'을 인식하는 법을 배움으로써, 싸움의 '결과'를 더 잘 예측하게 된다는 것입니다. 연구진은 이를 다른 방법들, 즉 인터넷의 거의 모든 것을 읽은 초스마트 AI 챗봇인 '거대 언어 모델(LLM)'과 비교 테스트했습니다.

결과는 상당히 흥-미로웠습니다. 논문은 결과와 분쟁 구조를 함께 학습한 멀티태스크 모델이 결과만을 살펴보는 모델보다 합의를 더 잘 예측했다는 점을 시사합니다. 구체적으로, 모델에게 분쟁 구조를 가르쳤을 때 성공률(F1 스코어라고 불리는 지표)이 0.70에서 0.73으로 상승했습니다. 이는 논쟁의 '형태'를 이해하는 것이 컴퓨터가 더 현명한 추측을 하도록 돕는다는 것을 시사합니다.

그러나 이 논문은 이것이 모든 곳에서 완벽하게 작동하는 마법의 해결책은 아니라는 점도 발견했습니다. 연구진이 다양한 금융 부문에 대해 모델을 테스트했을 때 결과는 다양하게 나타났습니다. 예를 들어, 모델은 증권(FINMAC) 분야에서는 매우 잘 작동했지만, 대규모 혼합 데이터셋에 비해 특정 은행이나 보험사 데이터만을 가지고 훈련했을 때는 효과가 약간 떨어졌습니다. 이는 일부 분쟁 구조가 금융계 전반에 걸쳐 공유되기도 하지만, 각 섹터 또한 자신만의 독특한 '풍미'나 스타일을 가지고 있음을 시사합니다。

연구는 또한 이 거대한 AI 챗봇(LLM)들에 대해서도 살펴보았습니다. 결과적으로, 이 챗봇들은 과거의 유사한 사례들을 몇 가지 예시로 제공받았을 때(이를 '퓨샷(few-shot)' 학습이라 합니다), 보험 및 은행 분야와 같은 특정 영역에서 커스텀 모델만큼 혹은 그보다 더 나은 성능을 보이기도 했습니다. 하지만 증권 분야에서는 여전히 커스텀 모델이 왕좌를 지켰습니다. 저자들은 이것이 증권 세계가 매우 다양하고 복잡하여 챗봇이 학습할 수 있는 완벽한 예시를 충분히 찾지 못했기 때문일 수 있다고 언급했습니다.

이 논문에서 한 가지 중요한 점은, 맥락을 이해하지 못한 채 단순히 모든 텍스트를 모델에 집어넣는다고 해서 완벽한 결과를 기대할 수 없다는 점을 배제했다는 것입니다. 저자들은 컴퓨터가 단순히 정답지를 읽는 것이 아니라 실제로 예측하는 법을 배우게 하기 위해, 텍스트에서 최종 답변을 실수로 드러내는 부분(예: "그들은 합의했다"라고 적힌 요약문)을 제거하는 데 매우 주의를 기울였다고 명시했습니다. 또한, 컴퓨터가 광범위한 분쟁 카테고리(예: "정보 문제")를 포착하는 데는 능숙했지만, 아주 세부적이고 구체적인 내용(서브 태그)을 구분하는 데는 다소 어려움을 겪었는데, 이는 이러한 세부 사항들이 서로 매우 유사하여 계약 조건이나 고객 연령 같은 추가 정보 없이는 구별하기 어렵기 때문입니다.

결론적으로, 이 논문은 사람들이 무엇을 말하는지뿐만 아니라 그들의 주장이 어떻게 구조화되어 있는지를 컴퓨터에게 가르침으로써, 금융 분쟁의 미래를 더 잘 예측할 수 있는 도구를 구축할 수 있다는 점을 시사합니다. 이는 AI가 분쟁을 더 효율적으로 중재하도록 돕는 세상을 향한 한 걸음이지만, 저자들은 이 도구를 모든 유형의 금융 상품에 대해 완벽하게 만들고 실생활의 복잡하고 겹쳐진 세부 사항들을 처리하기 위해서는 아직 할 일이 남아 있다고 인정하고 있습니다.