Retrieval-Augmented Generation for Taxpayer Advisory in an LMIC Setting: A Proof-of-Concept Evaluation of Statutory Legal Retrieval
본 연구는 저소득 및 중소득 국가의 납세자 자문을 위한 검색 증강 생성 프레임을 개념 증명 방식으로 평가하며, 국가 소득세 법령의 의미론적 검색이 근거 기반 언어 모델 프롬프팅을 지원하기 위한 법적 조항 식별에서 높은 정확도를 달-성할 수 있음을 입증하는 동시에, 배포 전 생성 품질 및 법적 준수성에 대한 추가적인 검증의 필요성을 강조한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
세계 여러 지역에서 사람들과 기업들이 세금을 납부하는 방식을 규정하는 규칙을 이해하는 것은 매우 벅찬 과제입니다. 법률은 종종 난해하고 기술적인 언어로 작성되어 있으며, 독특한 상황에 적용되는 특정 규칙을 찾는 것은 마치 건초더미에서 바늘을 찾는 것처럼 느껴질 수 있습니다. 이러한 복잡성을 헤쳐 나갈 수 있도록 돕기 위해, 세무 당국은 질문에 답하도록 설계된 인공지능 시스템을 포함한 디지털 도구로 점점 더 눈을 돌리고 있습니다. 그러나 주요한 과제가 남아 있습니다. 이 컴퓨터 프로그램들은 방대한 양의 일반 데이터를 학습했기 때문에, 때때로 자신감 있게 들리지만 실제로는 틀렸거나 지어낸 정보를 제공하는 '환각(hallucination)' 현상을 보일 수 있다는 점입니다. 이를 해결하기 위해 연구자들은 '검색 증강 생성(retification-augmented generation)'이라 불리는 방법을 개발했습니다. 이 방식은 컴퓨터가 먼저 신뢰할 수 있는 공식 문서 라이브러리를 검색하여 법률의 정확한 텍스트를 찾게 한 다음, 오직 찾아낸 내용에만 기반하여 답변을 작성하도록 요청하는 방식으로 작동합니다. 이는 응답이 추측이 아닌 현실에 근거하도록 보장합니다. 전문가들의 질문은 이 방법이 세제 현대화가 진행 중이지만 전문 법률 전문가에 대한 접근성이 제한적인 경우가 많은, 자원이 부족한 국가에서도 유용할 만큼 잘 작동하느냐는 것입니다.
우간다의 대학 연구진은 우간다 소득세법에 초점을 맞추어 이 아이디어를 테스트하기 위해 연구를 시작했습니다. 그들의 목표는 법적 조언을 줄 수 있는 완전히 완성된 제품을 만드는 것이 아니라, 핵심 기술이 질문을 받았을 때 세법의 올в바른 섹션을 정확하게 찾아낼 수 있는지 확인하기 위한 작동 가능한 프로토타입을 만드는 것이었습니다. 그들은 먼저 국가 세법 전체 텍스트를 가져와 198개의 별도이고 관리 가능한 정보 단위로 나누었습니다. 각 조각에는 해당 법률의 특정 부분과 섹션 번호와 같은 위치 정보가 태그되었으며, 그 후 컴퓨터가 단순히 키워드를 매칭하는 것이 아니라 단어의 의미를 이해할 수 있는 디지털 형식으로 변환되었습니다. 이 과정은 컴퓨터가 단순히 정확한 단어를 찾는 것이 아니라 질문 뒤에 숨겨된 개념을 찾을 수 있는 검색 가능한 디지털 라이브러리를 구축하는 과정이었습니다.
시스템이 얼마나 잘 작동하는지 테스트하기 위해, 연구진은 공제나 특정 세율에 관한 문의와 같이 납세자가 던질 수 있는 900개의 서로 다른 질문을 생성했습니다. 각 질문에 대해 그들은 어떤 법률 섹션에 정답이 포함되어 있는지 정확히 알고 있었습니다. 그런 다음 그들은 컴퓨터 시스템에 각 질문에 대해 가장 관련 있는 세 개의 법률 섹션을 찾도록 요청했습니다. 결과는 시스템이 본래의 임무를 상당히 효과적으로 수행했음을 보여주었습니다. 단 하나의 최선의 일치 항목을 찾도록 요청했을 때, 시스템은 72%의 확률로 성공했습니다. 더 중요한 것은, 시스템이 제공한 상위 3개의 결과 내에 정답이 포함된 경우가 86.78%에 달했다는 점입니다. 이는 컴퓨터가 항상 가장 좋은 답변을 첫 번째 선택지로 고르지는 못했을지라도, 거의 항상 제시된 몇 가지 옵션 안에 올바른 정보를 배치했다는 것을 시사합니다.
연구진은 시스템이 1위를 놓쳤을 때, 그것이 정답과 전혀 무관한 것이 아니라 틀린 답이 정답과 매우 유사한 의미를 가지고 있었기 때문인 경우가 많았다고 언급했습니다. 이는 시스템이 개념을 잘 이해하고 있지만, 두 개의 매우 유사한 법적 규정 중 어느 것이 가장 정밀하게 들어맞는지 결정하는 데 어려움을 겪을 수 있음을 나타냅니다. 이 연구는 복잡한 법률 문서를 기계가 읽을 수 있는 형식으로 변환하고, 이를 사용하여 높은 정확도로 특정 정보를 검색하는 것이 가능하다는 것을 성공적으로 입증했습니다. 그러나 연구팀은 이것이 단지 검색 메커니즘에 대한 테스트였다는 점을 명확히 하는 데 주의를 기울였습니다. 그들은 컴퓨터가 생성한 최종 서술형 답변이 법적으로 완벽한지, 안전하게 사용할 수 있는지, 또는 실제 사람들이 이해하기 쉬운지를 테스트하지 않았습니다.
이 연구는 개발도상국의 세무 당국이 모든 질의에 대해 방대한 규모의 법률 전문가를 고용하지 않고도 시민들에게 더 나은, 더 접근하기 쉬운 정보를 제공할 수 있는 잠재적인 경로를 제시한다는 점에서 중요합니다. 이 연구는 비교적 작고 잘 조직된 법률 모음이 정보를 찾는 강력한 도구로 변모할 수 있음을 시사합니다. 그럼에도 불구하고 저자들은 이것이 시작에 불과하다는 점을 강조합니다. 이러한 시스템이 실제 납세자를 안내하기 위해 실무에 사용되기 전에는, 실제 사람들의 실제 질문으로 테스트되어야 하고, 조언이 정확한지 확인하기 위해 법률 전문가의 검토를 거쳐야 하며, 다양한 언어와 다양한 유형의 세법을 처리할 수 있도록 조정되어야 합니다. 현재의 결과는 기술적 타당성을 보여주지만, 그 타당성을 신뢰할 수 있는 공공 서비스로 바꾸기 위해서는 안전성, 정확성 및 신뢰를 확보하기 위한 추가적인 작업이 필요합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.