Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows

당신이 거대하고 북적이는 디지털 도시의 보안 책임자라고 상상해 보십시오. 이 도시에는 두 가지 주요 임무가 있습니다. 하나는 나쁜 행위자들(사기꾼이나 부정직한 사람들)로부터 거리를 안전하게 지키는 것이고, 다른 하나는 모든 사람이 커뮤니티의 규칙(혐오 표현이나 스팸 차단 등)을 준수하도록 만드는 것입니다. 과거에는 당신은 모든 메모를 읽고, 모든 거래를 확인하며, 누가 진실을 말하고 있는지 결정하기 위해 인간 탐정 팀을 고용했습니다. 하지만 도시가 너무 커졌고, 인간 팀은 압도당하고 있습니다.

여기에 새로운 신입 대원들이 등장합니다. 바로 거대 언어 모델(LLM)입니다. 이들을 단순한 인간 탐정이 아니라, 초당 백만 페이지를 읽고 단어 뒤에 숨겨진 의미까지 이해할 수 있는 믿을 수 없을 정도로 빠르고 똑똑한 로봇이라고 생각하십시오. 이들은 수상한 메모를 표시하거나, 복잡한 사건을 요약하거나, 혹은 최전방의 방어선 역할을 수행함으로써 인간 팀을 돕기 위해 제안되었습니다. 하지만 까다로운 점이 있습니다. 로봇이 똑똑하다고 해서 곧바로 실전에 투입될 준비가 된 것은 아니라는 사실입니다. 비디오 게임 속에서는 로봇이 완벽할 수 있습니다. 하지만 실제 도시에서는 로맷이 너무 느리면 교통 정체가 발생합니다. 운영 비용이 너무 많이 들면 도시가 파산할 수도 있습니다. 그리고 만약 영리한 거짓말쟁이에게 속아 넘어간다면, 시스템 전체가 붕괴될 수 있습니다. 큰 질문은 단순히 "로봇이 똑똑한가?"가 아니라, "이 로봇이 무언가를 망가뜨리지 않고 이 바쁘고 압박감이 심한 도시 안에서 작동할 수 있다는 것을 어떻게 믿을 것인가?"입니다.

"사기 탐지 및 신뢰·안전 워크플로우에서의 LLM 운영 증거 격차(Operational Evidence Gaps for LLMs in Fraud Detection and Trust-and-Safety Workflows)"라는 제목의 이 논문은 이 새로운 로봇 신입 대원들에 대한 엄격한 검사 보고서와 같습니다. 저자인 키유르 가바니(Keyur Gabani)는 사기 탐지, 사기 방지, 콘텐츠 중재에 관한 49개의 다양한 연구와 보고서를 조사했습니다. 그 목표는 이 로봇들이 실제로 살아있는 시스템에서 직무를 수행할 수 있는 충분한 증거가 있는지, 아니면 그저 모래 놀이터에서 놀고 있는 것인지를 확인하는 것이었습니다.

이 논문의 주요 발견은 다소 충격적입니다. 우리가 이 로봇들이 할 수 있다고 생각하는 것과, 현실 세계에서 실제로 할 수 있다고 알고 있는 것 사이에 거대한 격차가 존재한다는 것입니다. 저자는 이를 "증거 불균형(evidence imbalance)"이라고 부릅니다.

이 논문이 들려주는 이야기는 다음과 같습니다.

사기 탐지 팀은 점수판을 놓치고 있다
사기 탐지(신용카드 사기나 피싱 이메일 등)의 세계에서 연구자들은 18개의 서로 다른 연구를 발견했습니다. 이 연구들은 로봇이 시험관 안에서 사기를 잡아내는 능력을 보여주는 데는 탁let습니다. 로봇은 높은 정확도로 "이것은 사기처럼 보입니다!"라고 말할 수 있습니다. 하지만 저자가 실제 세계의 성능을 보여주는 "점수판"을 찾아보았을 때, 그곳은 거의 비어 있었습니다.

• 누락된 숫자들: 18개의 사기 관련 연구 중 그 어떤 것도 로봇이 단 하나의 결정을 내리는 데 시간이 얼마나 걸리는지(지연 시간, latency) 보고하지 않았습니다. 또한 그 어떤 것도 단 하나의 결정을 내리는 데 비용이 얼마나 드는지(비용, cost) 말해주지 않았습니다. 로봇이 결정을 내릴 때 얼마나 확신을 가지고 있는지(교정, calibration)에 대해서도 설명하지 않았습니다.
• 비유: 이것은 마치 레이싱 카가 테스트 트랙에서는 매우 빠르다는 것이 입증되었지만, 아무도 그 차가 1마일당 연료를 얼마나 소비하는지, 혹은 비 오는 날에도 운행할 수 있는지 알려주지 않은 것과 같습니다. 당신은 그 차가 빠르게 달릴 수 있다는 것은 알지만, 고속도로에서 운전하기에 안전한지는 알 수 없습니다.

중재 팀은 패를 더 많이 보여주고 있다
콘텐츠 중재(악성 댓글이나 스팸 차단)의 세계에서 저자는 14개의 연구를 발견했습니다. 놀랍게도 이 그룹은 실제 세계의 요소들에 대해 더 정직했습니다. 이들은 로봇이 얼마나 많은 시간을 소요하는지, 비용이 얼마나 드는지, 그리고 공정성(로봇이 서로 다른 집단을 불공평하게 대하지 않도록 하는 것)을 어떻게 처리하는지에 대해 더 많이 언급했습니다.

• 비유: 중재 팀은 집을 짓는 것뿐만 아니라 상세한 자재 명세서와 타임라인까지 제공하는 건설 현장과 같습니다. 여전히 시행착오를 겪고 있지만, 그들은 자신들의 작업 과정을 보여주고 있습니다.

"FORTE" 프레임워크: 로봇을 바라보는 새로운 방식
이 모든 것을 이해하기 위해 저자는 FORTE라고 불리는 새로운 방식으로 로봇을 분류하는 체계를 만들었습니다. 단순히 "이 모델이 무엇인가?"라고 묻는 대신, FORTE는 "이 로봇이 어떤 일을 하고 있는가?"라고 묻습니다.

• 분류기 (The Classifier): 로봇이 판사 역할을 하며 "유죄" 또는 "무죄"를 판결합니다.
• 조수 (The Assistant): 로봇이 긴 사건 파일을 요약하여 인간 탐사를 돕습니다.
• 조사관 (The Investigator): 로봇이 직접 나가서 단서를 수집하고 보고서를 작성합니다.
• 에스컬레이터 (The Escalator): 로봇이 쉬운 사건들을 처리하고, 어렵고 혼란스러운 사건들만 인간에게 전달합니다.

이 논문은 우리가 이러한 로봇들을 단순히 마법 같은 블랙박스로 보는 것이 아니라, 특정한 직무를 가진 구체적인 도구로 보기 시작해야 한다고 주장합니다.

이 논문이 제외하는 것들
이 논문은 자신이 무엇을 말하지 않는지에 대해서도 매우 명확히 밝히고 있습니다. 저자는 이 로봇들이 나쁘다거나 사용해서는 안 된다고 말하는 것이 아닙니다. 또한 로봇이 인간 탐정을 완전히 대체할 준비가 되었다고 말하는 것도 아닙니다.

• 현실 점검: 저자는 현재 LLM이 실시간 사기 엔진을 대체할 수 있다는 증거가 충분히 없음을 명시적으로 밝힙니다. 우리는 이들이 충분히 빠른지, 충분히 저렴한지, 혹은 로봇을 속이려는 영리한 해커들로부터 안전한지 아직 알지 못합니다.
• "모래 놀이터" 문제: 저자가 살펴본 많은 연구는 "오프라인"에서 수행되었습니다. 즉, 조용한 방 안에서 오래된 데이터를 가지고 테스트했다는 뜻입니다. 논문은 이것이 해커들이 침입하려고 활발히 시도하는 시끄럽고 혼란스러운 실제 도시에서 테스트하는 것과는 다르다고 주장합니다.

누락된 조각들과 미래
논문은 결론적으로, 우리가 이 로봇들을 우리의 디지털 도시에 완전히 신뢰하기 전에 누락된 점수판을 채워 넣어야 한다고 말합니다. 저자는 이 로봇들을 배치하려는 누구라도 지켜야 할 "최소 체크리스트"를 제안합니다:

1. 지연 시간 예산 (Latency Budget): 얼마나 빨라야 하는가?
2. 결정당 비용 (Cost Per Decision): 각 검사마다 비용이 얼마나 드는가?
3. 결정 임계값 (Decision Threshold): 언제 "잘 모르겠으니 인간이 처리하게 하라"고 말할 것인가?
4. 설명 무결성 (Explanation Integrity): 만약 로봇이 결정의 이유를 제시한다면, 그 이유가 사실인가, 아니면 그냥 지어낸 것인가?
5. 적대적 압력 (Adversarial Pressure): 나쁜 행위자가 로봇을 속이려고 할 때 어떤 일이 발생하는가?

논문은 현재 가장 좋은 경로는 "하이브리드" 접근 방식이라고 제안합니다. 빠르고 단순하며 저렴한 도구들이 쉬운 일들을 처리하게 하십시오. 그리고 아주 똑똑하고 비싼 로봇들은 어려운 사건을 해결하거나, 왜 그런 결정이 내려졌는지 설명하거나, 혹은 인간 탐사를 돕는 용도로 아껴두십시오.

요약하자면, 이 논문은 행동 촉구(call to action)입니다. 기술이 흥미롭고 유망하지만, 우리는 현재 많은 영역에서 눈을 가린 채 비행하고 있다고 말합니다. 우리에게는 로봇이 있지만, 매뉴얼은 없습니다. 이 시스템을 안전하고 유용하게 만들기 위해서, 연구자와 기업들은 단순히 로봇이 얼마나 똑똑한지를 뽐내는 것을 넘어, 압박이 가해지고, 시계가 돌아가며, 비용이 실제로 발생하는 상황에서 로봇이 어떻게 행동하는지를 보여주기 시작해야 합니다.