HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries
HIRA는 높은 정확도를 달성하는 동시에 인간의 검토를 최소화하고 비용이 많이 드는 모델 재학습의 필요성을 제거하기 위해 멀티모달 검색과 로컬 호스팅 LLM 검증기 및 인간 참여형 피드백을 결합한, 규제 대상 문서 분류를 위한 학습 불필요(training-free) 방식의 온프레미스 검색 증강 캐스케이드입니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
은행, 의료, 법률과 같은 고도의 긴장감이 흐르는 세계에서 문서는 신뢰의 핵심 자산입니다. 모든 대출 신청서, 의료 기록, 법적 계약서는 준수 사항, 안전성 및 효율성을 보장하기 위해 올바른 범주로 분류되어야 합니다. 수십 년 동안 이 분류 문제에 대한 표준적인 접근 방식은 라벨이 지정된 수천 개의 사례를 보여줌으로써 컴퓨터를 가르치는 방식, 즉 '학습(training)'이라 불리는 과정이었습니다. 그러나 이 방법은 규제 산업 분야에서 한계에 부착합니다. 게임의 규칙은 엄격합니다. 민감한 문서는 생성된 보안 환경을 벗어날 수 없으며, 이는 강력하고 원격에 있는 인공지능이 처리하기 위해 클라우드로 전송될 수 없음을 의미합니다. 또한, 은행 내부 파일에 필요한 특정 범주는 종종 독특하고 빈번하게 변경되는데, 이는 새로운 모델을 처음부터 학습시키는 데 필요한 거대하고 기존에 존재하는 데이터셋을 수집하는 것을 불가능하게 만듭니다. 은행이 분류 시스템을 업데이트하려고 할 때 그 과정은 너무 느리고 비용이 많이 들어 실질적으로 불가능해지는 경우가 많으며, 이로 인해 기관들은 구식 도구에 머물거나 모든 파일을 읽기 위해 값비싼 인력에 의존해야 하는 상황에 처하게 됩니다.
연구자 상쉬안 티안(Shangxuan Tian), 얀후이 첸(Yanhui Chen), 카를로스 케이로스(Carlos Queiroz)는 이러한 엄격한 제약 조건을 헤쳐 나가기 위해 설계된 HIRA라는 시스템을 제안했습니다. HIRA는 새로운 문서 유형이 나타나거나 규칙이 변경될 때마다 복잡한 모델을 재학습시키려고 노력하는 대신, 행동하며 배우는 매우 조직적인 사서처럼 작동합니다. 이 시스템은 두 단계로 운영됩니다. 첫째, 시스템은 새 문서를 스캔하고 즉시 이전에 보았던 유사한 사례를 내부 메모리에서 검색합니다. 시스템은 텍스트, 레이아웃, 심지어 페이지의 시각적 형태까지 살펴보고 최적의 일치 항목을 찾습니다. 만약 시스템이 명확한 일치 항목을 찾으면 즉시 문서를 분류합니다. 만약 문서가 혼란스럽거나 여러 범주와 너무 비슷해 보인다면, 시스템은 추측하지 않고 대신 파일을 두 번째의 더 세심한 단계로 전달합니다. 이 단계에서는 강력한 로컬 호스팅 인공지능을 사용하여 시스템이 찾은 최선의 사례들과 함께 문서를 검토하고 최종 결정을 내리도록 요청합니다. 만약 이 두 번째 단계조차 확신하지 못한다면, 해당 문서는 수정을 위해 인간 전문가에게 보내집니다.
진정한 혁신은 그 인간의 수정 이후에 일어나는 일에 있습니다. 전통적인 시스템에서 인간이 실수를 바로잡는 것은 단 한 번의 수정일 뿐입니다. 하지만 HIRA에서 모든 수정은 영구적인 학습이 됩니다. 인간이 문서를 수정하면, 시스템은 그 사례를 특별한 가중치와 함께 메모리에 저장하여 다음에 유사한 문서가 도착했을 때 더 잘 인식할 수 있도록 합니다. 또한 혼동 지도를 업데이트하여 어떤 범주들이 서로 섞이기 쉬운지, 그리고 어떤 특정 단어나 시각적 특징이 이들을 구별하는지를 학습합니다. 이를 통해 시스템은 핵심 소프트웨어를 재학습시키거나 근본적인 수학적 가중치를 업데이트하지 않고도 시간이 지남에 따라 정확도를 높일 수 있습니다. 시스템은 자신의 실수를 기억하고 그것을 해결한 구체적인 세부 사항을 기억함으로써 더 똑똑해집니다.
연구진은 이 접근 방식을 두 가지 매우 다른 데이터 세트에 대해 테스트했습니다. 첫 번째는 편지부터 과학 보고서에 이르는 2,737개의 문서를 포함한 공개 벤치마크였습니다. 이 데이터 세트에서 시스템은 적은 수의 사례로 시작하여 새로운 문서의 흐름을 처리했습니다. 유입되는 파일의 약 4분의 1만을 인간에게 수정하도록 요청함으로써, 시스템의 정확도는 처음부터 모든 문서에 올바른 라벨이 붙은 상태를 본 가상의 '오라클(oracle)'의 성능과 일치할 정도로 상승했습니다. 이는 아무런 도움 없이 추측하려는 표준 인공지능보다 훨씬 높은 성과를 거둔 것이며, 훨씬 적은 컴퓨터 자원을 사용했습니다. 시스템은 약 40%의 문서만을 두 번째의 더 비싼 AI 단계로 보냈고, 인간 검토자에게는 그보다 더 적은 양을 보냄으로써 쉬운 사례들을 효율적으로 걸러낼 수 있음을 증명했습니다.
두 번째 테스트는 주요 은행의 30,233개 무역 금융 문서가 포함된 실제 환경의 도전 과제였습니다. 이 환경은 훨씬 더 어려웠는데, 80개의 서로 다른 범주가 있었고 그중 다수는 서로 거의 동일한 유형의 송장이나 증명서와 같았습니다. 데이터는 편향되어 있어서 어떤 범주는 수천 개의 사례가 있는 반면 다른 범주는 매우 적었습니다. 이러한 어려움에도 불구하고, 시스템은 전체 문서 흐름을 처리했으며 인간 작업자에게는 단 1,945개의 문서만을 수정하도록 요청했는데, 이는 전체의 6.4%에 불과합니다. 이 적은 양의 인간 노력은 시스템의 정확도를 평범한 수준에서 매우 신뢰할 수 있는 수준으로 끌어올리기에 충분했습니다. 연구진은 시스템이 이러한 수정을 통해 학습함에 따라 인간의 검토가 필요한 문서의 수가 급격히 감소하여, 시스템의 메모리가 풍부해짐에 따라 낮은 비율로 안정화된다는 것을 발견했습니다.
이 연구는 규제 산업에서 높은 정확도로 가는 길이 반드시 거대한 데이터 세트나 지속적인 소프트웨어 재학습을 필요로 하는 것은 아님을 보여줍니다. 스마트한 검색 메커니즘과 로컬 인공지능, 그리고 인간의 수정을 통해 학습하는 피드백 루프를 결합함으로써, 새로운 문서와 변화하는 규칙에 스스로 적응하는 시스템을 구축하는 것이 가능합니다. 이 시스템은 데이터가 보안 환경을 절대 떠날 수 없다는 엄격한 요구 사항을 준-수하면서도, 방대한 데이터로 학습된 시스템에 필적하는 성능을 달성합니다. 결과는 데이터 프라이버시와 준수 사항이 최우선인 산업에서, 선택적으로 학습하고 자신의 수정을 기억하는 시스템이 전통적인 인공지능 학습 방식에 대한 실질적이고 강력한 대안이 될 수 있음을 시사합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.