A Cascaded Unsupervised-Supervised NLP Pipeline for Detecting Accusatory Language in Public Procurement

당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보십시오. 하지만 지문이나 발자국을 찾는 대신, 거대하고 혼란스러운 광장에 사람들이 남긴 수백만 개의 작고 무질서한 메모들을 뒤지고 있습니다. 이것이 바로 자연어 처리(NLP)의 세계입니다. NLP는 컴퓨터가 인간의 텍스트를 읽고 이해하는 법을 배우는 컴퓨터 과학의 한 분야입니다. 때때로 컴퓨터는 격식 있는 책을 읽는 데는 뛰어나지만, 사람들이 실생활에서 쓰는 속어, 오타, 혹은 감정적인 분노 섞인 글에는 종종 혼란을 겪곤 합니다. 여기서 핵심적인 질문은 이것입니다. 우리는 컴퓨터에게, 공공 정부 거래의 부정이나 불법성을 암시하는 특정한 '분노 섞인 속삭임'을 포착하도록 가르칠 수 있을까요? 설령 그 속삭임이 지루한 불만과 질문들의 산더미 속에 파묻혀 있을지라도 말입니다. 이것이 중요한 이유는 공공 자금은 매우 거대한 자원이며, 사람들이 부정행위를 저지를 때 모두가 손해를 보기 때문입니다. 만약 우리가 이 메모들을 읽어내는 디지털 '거짓말 탐지기'를 구축할 수 있다면, 나쁜 행위자들이 공공의 신뢰를 훔치기 전에 그들을 잡아낼 수 있을 것입니다.

이 논문은 에콰도르의 공공 조달 시스템에서 '고발적(accusatory)' 언어를 찾아내기 위해 영리한 2단계 탐정 시스템을 구축한 연구팀의 이야기를 들려줍니다. 공공 조달을 도로 보수부터 학교 용품에 이르기까지 정부가 물건을 구매하는 과정이라고 생각하십시오. 최종 계약이 체결되기 전, 공급업체들은 질문을 하거나 의견을 남길 수 있습니다. 대부분의 의견은 "이 규칙을 설명해 주시겠습니까?"라거나 "가격이 마음에 들지 않습니다"와 같이 해롭지 않은 것들입니다. 하지만 어떤 것들은 "이 거래는 조작되었습니다" 또는 "그들은 특정 회사만 승리하게 만들고 있습니다"와 같은 위험한 속삭임입니다. 문제는 이러한 위험한 속삭임이 매우 드물다는 점입니다. 마치 백만 개의 파란 바늘 더미 속에서 단 하나의 빨간 바늘을 찾는 것과 같습니다.

연구진은 이 바늘들을 찾기 위해 사용 가능한 가장 최첨단이자 값비싼 '슈퍼 독해' 컴퓨터(LLaMA나 RoBERTa와 같은 거대 언어 모델)를 사용해 보았습니다. 그들은 이 강력한 도구들이 최고일 것이라고 예상했습니다. 그러나 그들은 놀라운 사실을 발견했습니다. 화려하고 무거운 고성능 컴퓨터들이 오히려 이 무질서하고 비격식적인 텍스트 때문에 너무 혼란스러워했다는 점입니다. 그들은 바늘을 보기는 했지만, 그것을 건불(hay)로부터 분리해내지 못했습니다. 대신, 연구팀은 현지 언어와 속어에 특화하여 훈련된 훨씬 단순하고 오래되었으며 가벼운 도구인 Word2Vec이 아주 효과적으로 작동한다는 것을 발견했습니다. 이는 모든 것에 반응하며 삐 소리를 내는 과하게 설계된 고성형 금속 탐지기를, 우리가 찾고자 하는 특정 금속만을 골라내는 잘 조율된 자석으로 교체한 것과 같았습니다.

연구진의 해결책은 '캐스케이드(cascaded)' 파이프라인, 즉 최종 확인을 하기 전에 필터를 사용하는 방식이었습니다. 먼저, 그들은 Word2Vec이라는 단순한 도구를 사용하여 유사한 댓글들을 그룹화했습니다. 이는 마치 섞여 있는 편지 뭉치를 필기 스타일에 따라 봉투별로 분류하는 것과 같습니다. 그다음, 그들은 가우시안 혼합 모델(Gaussian Mixture Models)을 사용하여 '고발적' 편지가 들어있을 가능성이 가장 높은 특정 봉투를 찾아냈습니다. 마지막으로, 그들은 표준적이고 신뢰할 수 있는 분류기인 랜덤 포레스트(Random Forest) 알고리즘을 사용하여 해당 특정 편지들을 읽고, 그것이 정말로 부패에 대한 고발인지 결정했습니다.

결과는 인상적이었습니다. '고발적' 댓글이 전체 데이터의 약 3%에 불에 불과했음에도 불구하고(심각한 불균형 상태), 이 단순한 2단계 시스템은 91%의 재현율(recall)과 84%의 정확도(precision)로 이들을 잡아냈습니다. 이는 이 문제를 해결하기 위해 반드시 거대하고 비싼 슈퍼컴퓨터가 필요한 것은 아니며, 가볍고 영리하게 훈련된 시스템이 그 역할을 똑같이, 혹은 더 잘 수행할 수 있음을 시사합니다. 논문은 최신 기술의 복잡한 AI 모델이 항상 최선의 선택은 아니라는 생각을 명시적으로 반박합니다. 화려한 모델들은 가능성을 보여주었지만, 데이터의 '이방성(anisotropy)', 즉 복잡한 모델을 혼란스럽게 만드는 데이터가 찌그러진 형태로 나타나는 현상 때문에 어려움을 겪었습니다. 반면, 실제의 무질서한 댓글을 바탕으로 직접 훈련된 단순한 모델은 그 혼돈을 훨씬 더 잘 다루었습니다.

연구진은 또한 라벨링되지 않은 방대한 양의 데이터(아직 수동으로 확인하지 않은 댓글들)에 대해서도 시스템을 테스트했습니다. 시스템은 약 93,000개의 댓글 중 약 1,892개의 잠재적 고발 건을 식별해 냈습니다. 이 식별된 댓글들의 샘플을 수동으로 확인한 결과, 약 84%가 실제로 부패나 불법 행위에 대한 고발인 것으로 나타났습니다. 이는 이 시스템이 정부 지출에 대한 실시간 감시자로서 사용될 만큼 견고하다는 것을 시사합니다. 다만, 논문은 한계점도 언급합니다. 이 시스템은 직접적인 고발을 포착하는 데는 뛰어나지만, 일반적인 '부패' 키워드를 사용하지 않는 미묘하거나 비꼬는 듯한, 혹은 반어적인 댓글은 놓칠 수 있습니다.

결론적으로, 이 논문은 복잡한 문제를 해결하는 가장 좋은 방법이 가장 강력한 기술을 쏟아붓는 것이 아니라, 데이터의 특수한 뉘앙스를 이해하는 영리하고 맞춤화된 프로세스를 구축하는 것임을 보여줍니다. 단순하고 도메인 특화된 임베딩을 스마트한 필터링 전략과 결합함으로써, 연구진은 빠르고 저렴하며 효과적으로 부패가 숨어 있는 그림자를 비추는 도구를 만들어냈습니다. 그들은 각 국가가 공공 조달 데이터를 컴퓨터가 쉽게 읽을 수 있는 방식으로 정리할 수 있다면, 이 접근 방식을 다른 나라에도 적용할 수 있다고 제안합니다.