RECON: A Recipe-Driven, Evidence-Fused, Neuro-Symbolic Multi-Agent Architecture for Autonomous Document Compliance Auditing across Heterogeneous Enterprise Repositories
본 논문은 결정론적 규칙, 퍼지 탐지, LLM 추론을 YAML 기반 레시피 시스템 및 변조 방지 감사 기능과 결합하여, 이질적인 기업 리포지토리 전반에 걸쳐 재현 가능하고 방어 가능하며 증거가 융합된 문서 준수 검토를 제공하는 신경-기호 멀티 에이전트 아키텍처인 RECON을 소개한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 거대한 퍼즐을 맞추려고 노력하고 있다고 상상해 보세요. 하지만 퍼즐 조각들은 여러 방에 흩어져 있고, 어떤 조각은 투명 잉크로 쓰여 있으며, 어떤 조각은 모양은 맞아 보이지만 실제로는 아주 미세하게 잘못된 모양입니다. 이것이 데이터 프라이버시나 금융 안전과 같은 복잡한 규칙을 준수하려는 기업들이 마주하는 일상의 현실입니다. 그들은 계약서, 은행 명세서, 정책 매뉴얼 등 수천 개의 문서를 확인하여 규칙을 어기지 않고 있는지 확인해야 합니다.
이를 위해 그들은 보통 두 종류의 조력자에게 의존합니다. 첫 번째는 정확한 단어를 찾는 엄격한 컴퓨터 프로그램인 '규칙 준수자(Rule-Follower)'입니다. 이것은 마치 "사과"라는 단어만 알고 있는 로봇과 같아서, 만약 누군가 "빨갛고 둥근 과일"이라고 부른다면 그 그림을 놓치고 말 것입니다. 두 번째 조력자는 언어와 의미를 이해하는 인공지능의 한 형태인 '거대한 두뇌(Big Brain)'입니다. 이 조력자는 "빨갛고 둥근 과일"이 사과라는 것을 알아내는 데 탁월하지만, 때때로 혼란을 겪거나, 무언가를 지어내거나, 똑같은 질문을 할 때마다 말을 바꾸기도 합니다. 현재 과학계의 큰 과제는 이 두 조력자를 어떻게 결합하여 서로 싸우지 않고 협력하게 만들 것인가 하는 점입니다. 즉, 까다로운 언어를 이해할 만큼 똑똑하면서도 규제 기관이 신뢰할 수 있을 만큼 엄격한 시스템을 만드는 것입니다.
여기에서 RECON이라 불리는 새로운 시스템이 등장합니다. RECON을 문서를 감사하기 위해 함께 협력하는 다섯 명의 특화된 요원들로 구성된 슈퍼 팀이라고 생각해보세요. 이 팀은 유연하면서도 깨지지 않는 구조로 설계되었습니다. 새로운 규칙을 설정하기 위해 복잡한 컴퓨터 코드를 작성하는 대신, 책임자인 인간은 단순히 "레시피" 파일(마치 요리 레시피처럼 규칙을 위한 파일)을 작성하기만 하면 됩니다. 이 레시피는 팀에게 무엇을 찾아야 하는지 정확하게 알려줍니다.
팀이 감사를 시작할 때, 그들은 단순히 추측하지 않습니다. 그들은 마치 금속 탐지기, 돋보기, 그리고 탐정의 직관을 동시에 사용하는 것처럼 세 가지 다른 방식으로 문제를 찾습니다. 첫째, "규칙 준수자"가 정확한 일치를 스캔합니다. 둘째, "퍼지 탐정(Fuzzy Detective)"은 거의 맞는 단어를 찾아내어, 약간 다르더라도 여전히 의심스러운 것들을 잡아냅니다. 셋째, "거대한 두뇌"는 맥락을 읽어 의미를 이해합니다. 마법은 이들의 기록을 결합할 때 일어납니다. 그들은 모든 조사 내용을 하나의 목록으로 병합하지만, 같은 문제를 두 번 세지 않도록 주의합니다. 만약 엄격한 로봇은 "문제 없음"이라고 말하지만, 퍼지 탐정과 거대한 두뇌가 모두 "이것은 위험해 보인다"라고 말한다면, 팀은 가장 강력한 증거를 신뢰합니다.
이 논문은 이 시스템을 계약서와 재무 보고서를 포함한 43개의 실제 비즈니스 문서 뭉기에 테스트했을 때, 57개의 서로 다른 이슈를 발견했다고 보고합니다. 이 시스템은 놀라울 정도로 정확하여, 91%의 정확도(정밀도)를 기록하면서도 실제 문제의 88%를 포착(재현율)해 냈습니다. 이는 매우 중요한 성과인데, 왜냐하면 기존의 시스템들은 매우 엄격하여 숨겨진 문제를 놓치거나, 혹은 매우 유연하여 실수를 저지르는 것 중 하나를 선택해야 했기 때문입니다. RECON은 두 가지를 모두 가질 수 있다는 것을 보여줍니다.
아무도 속임수를 쓰거나 나중에 결과를 변경할 수 없도록, 시스템은 모든 작업 단계를 특별한 잠금 장치(SHA-256 해시)로 연결된 디지털 "장부"에 기록합니다. 만약 누군가 몰래 실수를 지우거나 판결을 바꾸려 한다면, 전체 체인이 끊어지고 조작 사실이 즉시 드러나게 됩니다. 이것은 마치 모든 페이지가 다음 페이지와 붙어 있는 일기와 같습니다. 한 페이지를 찢어내면 책 전체가 무너져 내리는 것과 같습니다.
연구진은 또한 모든 판결에 "신뢰도 측정기"를 추가했습니다. 만약 시스템이 몇 개의 문서만 검사한다면, "꽤 확신하지만, 답이 약간 흔들릴 수 있다"라고 말합니다. 만약 수백 개의 문서를 검사한다면, 그 답은 매우 견고하고 정밀해집니다. 테스트에서, 적은 양의 계약서를 살펴볼 때 시스템은 넓은 범위의 불확실성을 가진 경고를 주었지만, 43개의 문서 전체를 검사했을 때는 매우 좁은 범위의 확실성을 가진 구체적인 낙제 점수를 내놓았습니다.
이 연구는 엄격한 규칙, 퍼지 매칭, 그리고 스마트한 AI의 이러한 조합이, 조작 불가능한 로그에 기록됨으로써 문서 검사를 훨씬 더 빠르고 신뢰할 수 있게 만들 수 있음을 시사합니다. 그러나 저자들은 이것이 특정 뱅킹 문서들을 대상으로 한 파일럿 테스트에 기반했다는 점을 주의 깊게 언급했습니다. 결과는 유망해 보이지만, 이것이 모든 유형의 회사와 모든 종류의 규칙에 대해서도 똑같이 작동하는지 확인하기 위해서는 더 많은 테스트가 필요하다고 제안합니다. 또한 그들은 시스템이 아직 완전히 자동화된 것은 아니며, 초기 "레시피"를 작성하기 위해 여전히 인간이 필요하다는 점도 지적했습니다. 하지만 이 시스템은 인간이 자신의 업무를 더 잘 수행할 수 있도록 돕는 강력한 새로운 도구를 제공합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.