Domain Agnostic Text Redaction from Natural Language Rules using Instruction Tuning

현대 사회에서는 의료 기록부터 법적 계약서, 재무 보고서에 이르기까지 방대한 양의 개인 및 기업 정보가 단순한 텍스트 형태로 존재합니다. 데이터가 점점 더 디지털화됨에 따라, 중요한 과제가 발생하고 있습니다. 바로 민감한 비밀을 노출하지 않고 어떻게 문서를 공유하거나 분석할 것인가 하는 문제입니다. 일반 데이터 보호 규정(GDPR)이나 의료 정보 보호법(HIPAA)과 같은 법률은 이름, 주소 또는 사적인 의료 상태와 같은 특정 세부 정보를 문서가 보안 환경을 벗어나기 전에 숨길 것을 요구합니다. 전통적으로 이러한 "위생 처리(sanitization)" 작업은 전화번호나 사회보장번호와 같이 예측 가능한 패턴을 찾아내는 경직된 컴퓨터 프로그램에 의존해 왔습니다. 이러한 도구들은 표준적인 형식에는 효과적이지만, 계약서의 특정 조항이나 미묘한 의료 진단과 같이 복잡하고 구조화되지 않은 문장 속에 나타나는 민감한 정보를 식별하는 데는 종종 실패합니다. 더욱이, 이러한 자동화 도구들이 텍스트를 숨기기로 결정했을 때, 그 이유를 거의 설명하지 않기 때문에 인간 감사관들은 편집의 논리를 추측해야만 합니다.

이를 해결하기 위해, Mphasis Limited의 연구팀은 텍스트 편집을 단순한 검색 및 교체 작업이 아닌 추론 문제로 취급하는 새로운 접근 방식을 개발했습니다. 모든 유형의 민감한 데이터에 대해 규칙을 하드코딩하는 대신, 이들은 사용자가 무엇을 숨겨야 하는지를 평이한 영어로 설명할 수 있는 시스템을 만들었습니다. 예를 들어, 사용자는 단순히 "이 재무 보고서에서 특정 고객 수수료에 대한 언급을 모두 숨겨줘" 또는 "이 법적 합의서에서 토지 구획의 위치에 관한 모든 세부 사항을 제거해줘"라고 말할 수 있습니다. 그러면 시스템은 대규모 언어 모델을 사용하여 이러한 자연어 지침을 일련의 논리적 규칙으로 변환합니다. 이 규칙들은 문서를 읽고 맥락을 이해하며, 어떤 단어나 구절이 사용자의 정의에 부합하는 민감한 정보인지 결정할 수 있도록 더 작고 효율적인 언어 모델을 학습시키는 데 사용됩니다. 결정적으로, 이 시스템은 단순히 텍스트를 검게 가리는 것에 그치지 않고, 해당 조치를 유발한 특정 규칙을 인용하며 제거된 모든 정보에 대해 서면 설명을 생성합니다.

연구진은 금융 공시, 고객 참여 세부 사항, 의료 기록을 포함한 다양한 유형의 문서에 대해 이 방법을 테스트했습니다. 그들은 이 시스템이 복잡한 법률 용어나 특정 비즈니스 전략과 같이 전통적인 도구가 놓칠 수 있는 민감한 콘텐츠를 정확하게 식별하고 편집하는 동시에, 민감하지 않은 정보는 그대로 유지한다는 것을 발견했습니다. 시스템이 진정으로 안전한지 확인하기 위해, 연구진은 강력한 인공지능이 주변 텍스트를 바탕으로 숨겨진 정보를 추측하도록 하는 엄격한 테스트를 거쳤습니다. 이 시스템은 매우 높은 회복력을 보여주었습니다. AI는 편집된 세부 정보를 재구성할 수 없었으며, 이는 민감한 정보가 단순히 가려진 것이 아니라 효과적으로 제거되었음을 나타냅니다. 테스트 과정에서 이 모델은 요청받은 민감한 사례의 95% 이상을 성공적으로 식별하고 편집했습니다.

이 연구의 핵심 혁신은 시스템을 학습시키기 위해 합성 데이터를 사용했다는 점입니다. 연구진은 모델에 실제 개인 문서를 입력하는 대신, 대규모 언어 모델을 사용하여 실제 세계의 시나리오를 모방한 수천 개의 가짜 문서를 생성했습니다. 이 합성 문서들은 민감한 내용과 민감하지 않은 내용을 모두 포함하고 있었으며, 올바른 편집 결과와 설명도 함께 포함되어 있었습니다. 이를 통해 작은 모델은 학습 과정에서 실제 개인의 데이터를 한 번도 접하지 않고도 프라이버시 규칙에 대해 추론하는 법을 배울 수 있었습니다. 그 결과, 이 도구는 유연하면서도 투명합니다. 이 시스템은 인간의 지침을 듣는 것만으로도 새로운 유형의 문서와 새로운 민감도 정의에 즉각적으로 적응할 수 있습니다. 모든 편집에 대해 명확하고 자연스러운 언어로 된 근거를 제공함으로써, 이 시스템은 자동화된 효율성과 인간의 책임 사이의 간극을 메우며, 이해하기 쉬우면서도 효과적인 방식으로 프라이버시를 보호하는 방법을 제시합니다.