Valid Per-Field Selective Risk Control for Document Extraction: Three Failure Modes, a Validity Ladder, and When Conditioning Pays

컴퓨터가 손으로 쓴 영수증, 의료 서식, 또는 배송 라벨을 읽고 지저분한 텍스트를 즉시 깔끔하고 조직된 데이터로 변환할 수 있는 세상을 상상해 보십시오. 이것이 현대적인 문서 추출 기술이 약속하는 바이며, 이 기술은 자동 회계에서 디지털 기록 보관에 이르기까지 모든 것에 동력을 제공합니다. 이 시스템이 유용하기 위해서는 신뢰할 수 있어야 합니다. 만약 컴퓨터가 달러 금액을 잘못 읽는다면, 그 결과는 재정적 또는 법적 문제로 이어질 수 있습니다. 이를 관리하기 위해 엔지니어들은 '신뢰 계약(trust contract)'을 개발했습니다. 즉, 시스템은 단순히 숫자만을 출력하는 것이 아니라 신뢰도 점수도 함께 출력해야 한다는 것입니다. 만약 시스템이 확신이 없다면, 인간이 검토할 수 있도록 해당 항목을 표시해야 합니다. 목표는 컴퓨터가 확신하는 답변만을 수용하면서, 수용된 답변들 사이의 오류율을 특정하고 안전한 한계치 미만으로 유지하는 것입니다. 데이터를 유용하게 사용할 만큼 충분히 수용하는 것과, 정확성을 유지하기 위해 충분히 거절하는 것 사이의 이 균형이 이 분야의 핵심 과제입니다.

Zasti AI의 Bhaskar Gurram이 수행한 최근 연구는 실제 문서에 대해 신뢰 계약을 강제하기 위해 사용되는 표준 방식들이 실제로 작동하는지를 조사합니다. 연구진은 강력한 인공지능 모델을 사용하여 800개의 실제 영수증에서 추출된 13,859개의 데이터 필드라는 방대한 컬렉션을 대상으로 자신들의 아이디어를 테스트했습니다. 그들은 일반적으로 널리 받아들여지는 신뢰 임계값을 설정하는 방식이 조용히 실패하고 있음을 발견했습니다. 테스트 시나리오의 거의 절반에서 시스템은 너무 많은 오류를 수용하여, 지켜야 할 안전 약속을 깨뜨렸습니다. 연구는 이러한 실패의 세 가지 구체적인 이유를 식출했습니다. 첫째, 데이터가 독립적이지 않았습니다. 오류는 동일한 문서 내에서 서로 뭉쳐서 발생하는 경향이 있어, 테스트 데이터가 실제보다 더 신뢰할 수 있는 것처럼 보이게 만들었습니다. 둘째, 컴퓨터가 자신의 신뢰도를 점수 매치는 방법을 배우는 데 사용한 데이터를 사용하여 안전 한계를 설정하는 데에도 동일하게 사용함으로써, 자신의 성능에 대해 지나치게 낙관적인 견해를 갖게 되었습니다. 셋át째, 점수 체계가 때때로 너무 많은 동일한 점수를 생성하여, 안전한 임계값을 전혀 찾을 수 없는 교착 상태를 만들었습니다.

이러한 문제들을 해결하기 위해 연구진은 '유효성 사다리(validity ladder)'라고 부르는 새로운 단계별 프레임워크를 제안했습니다. 사다리의 첫 번째 단계에서, 그들은 데이터를 두 개의 별개 그룹으로 분리하는 단순한 프로토콜을 도입했습니다. 하나는 시스템에 점수를 매기는 법을 가르치는 용도이고, 다른 하나는 안전 한계를 설정하기 위해 전혀 손대지 않은 그룹입니다. 이 단순한 분리는 과적합을 방지하고 시스템이 평균 오류율을 제어할 수 있는 능력을 회복시켰습니다. 그러나 연구진은 고위험 애플리케이션의 경우 평균적인 보장만으로는 충분하지 않다는 것을 알고 있었습니다. 사용자에게는 특정 사례에서도 오류율이 한계를 초 exceed하지 않을 것임을 증명하는 인증서가 필요합니다. 이를 위해 그들은 더 엄격한 통계적 방법론을 적용하여 사다리의 위 단계로 올라갔습니다. 이 방법들은 데이터를 필드의 유형이나 소스 정보의 품질과 같은 특정 특성에 따라 그룹화하고, 각 그룹에 엄격한 수학적 테스트를 적용합니다. 이는 데이터가 지저분하거나 뭉쳐 있더라도 안전 보장이 모든 그룹에서 유효하도록 보장합니다.

연구는 이러한 복잡한 그룹화 방법이 실제로 언제 도움이 되는지에 대한 놀라운 통찰을 보여주었습니다. 컴퓨터의 신뢰도 점수가 이미 매우 똑똑하고 데이터로부터 학습된 상태라면, 추가적인 그룹화 규칙을 더하는 것은 데이터를 너무 작은 조각으로 나누어 오히려 상황을 악화시키는 경우가 많았습니다. 하지만 신뢰도 점수가 약하거나 고정되어 있을 때는, 데이터의 출처나 유형에 따라 그룹화하는 것이 성공의 열쇠가 되었습니다. AI가 절반 정도만 정답을 맞히는 가장 어려운 테스트 케이스에서, 데이터의 '프로비넌스(provenance)', 즉 컴퓨터가 페이지의 정확한 위치를 얼마나 잘 지목할 수 있는지에 기반한 특정 그룹화 방법을 사용했을 때, 이전에는 불가능했던 안전 인증을 구현할 수 있었습니다. 이 방법은 가장 어려운 시나리오에서 다른 모든 접근 방식보다 뛰어난 성과를 보였지만, AI가 이미 매우 정확할 때는 동일한 이점을 제공하지 못했습니다.

연구진은 또한 이 새로운 프로토콜을 한 번도 본 적 없는 다른 AI 모델의 데이터에 대해서도 테스트했습니다. 시스템은 기반 기술이 바뀌어도 안전 보장을 유지하며 잘 버텨냈습니다. 절대적인 확신을 위해, 그들은 인간 전문가들에게 컴퓨터가 수용한 답변의 샘 샘플을 검토하게 했습니다. 인간들은 실제 오류율이 시스템의 안전 예산보다 훨씬 낮다는 것을 발견했으며, 이는 새로운 방법들이 수학적으로 타당할 뿐만 아니라 실질적으로도 견고함을 확인시켜 주었습니다. 연구는 기존의 방식들이 실제 문서에서 위험하게 결함이 있었던 반면, 세심한 데이터 분리와 스마트한 그룹화의 결합이 신뢰를 회복할 수 있다고 결론짓습니다. 이는 개발자들에게 명확한 경로를 제시합니다. 일상적인 신뢰성을 위해서는 단순한 분리를 사용하고, 이해관계가 높거나 데이터가 어려운 경우에는 엄격한 그룹 인증으로 전환하십시오. 이 연구는 단순히 결함을 지적하는 데 그치지 않고, 기계가 이전에는 결여되었던 정직함과 신뢰성을 가지고 문서를 읽을 수 있도록 하는, 검증되고 작동하는 솔루션을 제공합니다.