컴퓨터가 단순히 엄격한 지시를 따르는 것을 넘어, 복잡한 업무를 수행하며 실제로 "대화"하고 "생각"할 수 있는 세상을 상상해 보십시오. 이것이 바로 인공지능(AI), 구체적으로는 **거대 언어 모델(LLM)**이라 불리는 분야의 영역입니다. 이 모델들을 인터넷에 있는 거의 모든 것을 읽은 매우 박식한 학생이라고 생각해보십시오. 이들은 이야기를 쓰거나, 질문에 답하거나, 심지어 수학 문제를 푸는 데에도 뛰어납니다. 하지만 한 가지 함정이 있습니다. 이들은 때때로 사실이 아닌 것을 지어내는(이를 "환각"이라고 부릅니다) 창의적인 작가와 같으며, 같은 질문을 다시 하면 마음을 바꾸기도 합니다.

이제 자동차 보험료를 얼마로 책정할지 결정하는 것과 같이 생사가 걸린 결정을 내려야 한다고 가정해 봅시다. 단순히 이 AI 학생들에게 추측을 맡길 수는 없습니다. 당신에게는 협력하여 일하는 팀 전체가 필요합니다. 여기서 **멀티 에이전트 시스템(Multi-Agent Systems)**이 등장합니다. 한 명의 로봇이 모든 것을 하는 대신, 전문가들로 구성된 팀을 두는 것입니다. 한 명은 데이터를 수집하고, 다른 한 명은 수학 모델을 구축하며, 세 번째는 오류를 점검하고, 네 번째는 결과를 설명합니다. 과학자들이 던지는 큰 질문은 이것입니다: "만약 이 AI 팀원 중 한 명이 혼란에 빠지거나 실수를 한다면, 프로젝트 전체가 실패하기 전에 우리가 어떻게 알 수 있을까?" 이 논문은 바로 그 문제, 즉 고도의 이해관계가 걸린 금융 업무를 수행하는 AI 팀을 위한 안전망을 구축하는 방법을 깊이 있게 다룹니다.

---

AI 팀과 "신뢰도 측정기"

이 연구에서 연구진은 AI 에이전트들로 운영되는 디지털 보험사를 설정했습니다. 그들은 단순히 AI가 무작위로 대화하게 둔 것이 아니라, "중앙 허브(Central Hub)"가 프로젝트 매니저 역할을 하는 엄격한 워크플로우를 구축했습니다. 이 매니저는 네 명의 특정 AI 전문가에게 업무를 할당합니다:

1. 데이터 준비 에이전트: 지저분한 숫자들을 정리합니다.
2. 모델링 에이전트: 위험 예측 수학을 구축합니다.
3. 검토 에이전트: 오류를 확인하기 위해 작업을 재검토합니다.
4. 설명 에이전트: 결과가 타당하고 공정한지 확인합니다.

까다로운 점은 이 AI 에이전트들이 확률적이라는 것입니다. 즉, 매번 단 하나의 "정답"을 내놓지 않는다는 의미입니다. 이들은 단어 단위로 텍스트를 생성하며, 각 단어마다 컴퓨터는 해당 특정 단어가 다음에 올 확률이 얼마나 높은지를 나타내는 작은 "로그 확률(log probability)"을 가집니다. 보통 사람들은 최종 답변만을 봅니다. 하지만 이 논문은 영리한 기법을 제안합니다: AI의 자신감이 속삭이는 소리에 귀를 기울이는 것입니다.

저자들은 AI의 내부 자신감 수치를 보고 "이것은 90% 정확하다"라고 말할 수 없다는 점을 깨달았습니다. 그것은 마치 유창하게 말하는 학생이 반드시 진실을 말하고 있다고 가정하는 것과 같습니다. 대신, 연구팀은 이러한 원시적인 자신감의 속삭임을 **베이지안 네트워크(Bayesian Network)**로 변환하는 시스템을 만들었습니다.

베이지안 네트워크: 디지털 파동 효과

베이지안 네트워크를 거대한, 상호작용하는 도미노 플로우차트라고 생각해 보십시오. 각 도미노는 보험 워크플로우의 한 단계를 나타냅니다. 만약 첫 번째 도미노(데이터 준비)가 흔들리면, 두 번째(모델링)를 쓰러뜨릴 수 있고, 이는 다시 세 번째(검토)를 넘어뜨릴 수 있습니다.

연구진은 AI의 내부 자신감 점수를 사용하여 각 도미노의 "흔들림 계수"를 설정했습니다. 그들은 AI의 자신감을 진실에 대한 보증으로 취급하지 않았습니다. 대신, AI가 자신감을 느낄 때 실제로 얼마나 자주 맞았는지 확인하기 위해 테스트 실행을 통해 이를 보정(calibration)했습니다. 그런 다음, 이 보정된 수치들을 네트워크에 입력했습니다.

그 결과는 어떠했을까요? 네트워크는 불확실성이 전체 시스템을 통해 어떻게 파동처럼 퍼져나가는지 보여줄 수 있었습니다. 설령 모든 개별 AI 에이전트가 자신의 작업에 대해 80%의 자신감을 가지고 있더라도, 네트워크는 작은 의구심들이 쌓였기 때문에 전체 워크플로우의 성공 확률이 55%에 불과하다는 것을 계산해 낼 수 있었습니다. 이는 네 사람이 물 양동이를 전달하는 과정과 같습니다. 각 사람이 물을 쏟지 않을 확신이 80%라 하더라도, 마지막에 도착했을 때 양동이는 여전히 절반 정도 비어 있을 수 있습니다.

발견한 내용: 온도 테스트

연구진은 이 안전망이 제대로 작동하는지 확인하기 위해 AI 팀을 다양한 "온도(temperature)"로 실행했습니다. AI 용어에서 "온도"는 AI가 얼마나 무작위적이거나 창의적인지를 제어합니다.

• 낮은 온도 (0.2): AI가 매우 보수적이고 반복적입니다.
• 높은 온도 (1.2): AI가 거칠고 창의적이며 실수를 저지르기 쉽습니다.

그들은 네 가지 시나리오를 테스트했습니다:

1. 안전한 시나리오: 모두가 낮은 온도를 유지했습니다. 시스템은 매우 신뢰할 수 있었으며, 성공 확률은 **87.1%**였습니다.
2. 혼합된 시나리오: 데이터와 모델 에이전트는 차분했지만, 검토자와 설명자가 다소 거칠었습니다. 성공률은 **69.0%**로 떨어졌습니다.
3. 보통 시나리오: 모두가 표준적인 "중간" 설정을 유지했습니다. 성공률은 **59.2%**였습니다.
4. 위험한 시나리오: 단 하나의 에이전트(설명 에이전트)가 매우 거칠어졌습니다. 다른 모든 에이전트가 차분했음에도 불구하고, 전체 시스템의 성공률은 **42.8%**로 급락했습니다.

이는 시스템이 매우 민밀하다는 것을 보여주었습니다. 사슬의 단 하나의 불안정한 연결 고리가 전체 프로젝트의 신뢰도를 끌어내릴 수 있습니다.

결론: 누가 실수를 잡아냈는가?

연구팀은 또한 에이전트들이 오류를 알아차리는지 확인하기 위해 비밀리에 데이터를 망가뜨려(예: 숫자를 숨기거나 가짜 노이즈를 추가함) 테스트했습니다.

• Llama 2 및 Llama 3.1: 이 모델들은 업무 수행 능력은 괜찮았지만, 숨겨진 오류를 많이 놓쳤습니다. Llama 2는 오류의 **45%**만을 잡아냈고, Llama 3.1은 **65%**를 잡아냈습니다.
• Qwen2.5: 이 모델이 주인공이었습니다. 이 모델은 오류의 **90%**를 잡아냈으며, 상황이 잘못되었을 때 전략을 조정하는 능력이 훨씬 뛰어났습니다.

연구는 또한 개별 에이전트들이 종종 매우 높은 자신감(자체적으로 약 0.80에서 0.90 사이의 점수)을 보였지만, 전체 워크플로우의 결합된 불확실성은 훨씬 낮다는 것을 발견했습니다. 예를 들어, Qwen 모델의 경우 개별 에이전트들은 자신감이 넘쳤지만, 최종 워크플로우의 확실성은 0.6012에 불과했습니다.

이것이 왜 중요한가

이 논문은 보험 분야의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 대신, AI 팀이 작업하는 동안 관찰할 수 있는 새로운 방법을 제시합니다. 베이지안 네트워크를 사용하여 작은 의구심이 어떻게 쌓이는지 추적함으로써, 우리는 나쁜 결과가 나오기 전에 워크플로우가 "안전하지 않음"을 감지할 수 있습니다.

연구진은 이 방법이 표준 보험 계리 결과(보험료를 책정하는 데 사용되는 수학)를 재현할 수 있으면서도, 시스템의 안정성에 대한 명확한 시각을 제공한다는 것을 보여주었습니다. 이는 고도의 이해관계가 걸린 직무에서 우리가 단순히 AI의 최종 답변만을 믿을 것이 아니라, 그 자신감의 "속삭임"에 귀를 기울이고 그 속삭임이 팀을 통해 어떻게 전달되는지 지켜봐야 함을 시사합니다. 만약 한 에이전트가 확신 없는 소리를 내기 시작한다면, 전체 시스템은 멈추고 점검해야 하며, 이를 통해 작은 실수가 금융 재앙으로 번지는 것을 방지해야 합니다.