기술 요약: NLP를 위한 삭제(Erasure) 해악의 정의에 관하여

문제 제기

자연어 처리(NLP) 시스템의 배포는 스테레오타이핑(stereotyping)과 유해한 발언(toxic speech)을 포함한 표상적 해악(representational harms)에 대한 상당한 우려를 불러일으켰습니다. '삭제(erasure)'는 이러한 표상적 해악의 구체적인 유형으로 인식되어 왔으나, 현재 이 분야는 이를 식별하고 측정하기 위한 명확하고 응집력 있는 개념적 토대가 부족한 상태입니다. 기존의 삭제 개념화는 다음과 같은 두 가지 주요 한계를 가집니다:

1. 지나친 포괄성: "적절한 표상의 결여"와 같은 정의는 너무 모호하여, 실무자가 삭제를 측정하기 위해 무엇이 필요한지 설정하는 데 가이드 역할을 하기 어렵습니다.
2. 지나친 특수성: 일부 정의는 특정 환경(예: 이미지 태깅 또는 논바이너리 젠더 정체성)에 맞춰 체계화되어 있어, 해당 맥락에서는 측정이 용이하지만 다른 환경으로의 적응이 어렵습니다.

나아가, '삭제'와 같은 구성 개념은 관찰 불가능하므로, 그 존재는 관찰 가능한 시스템 출력으로부터 추론되어야 합니다. 응집력 있는 개념적 토대 없이는, 기존의 측정 도구(지표, 벤치마크)의 타당성이 점점 더 의심받고 있으며, 결과 또한 서로 다른 문화적 또는 배포 맥락 간에 해석하기가 어렵습니다.

방법론

저자들은 사회과학의 측정 이론, 특히 Adcock와 Collier(2001) 및 Wallach 외(2025)의 연구에 기반한 방법론을 채택합니다. 이 과정은 배경 구성 개념(background construct)(개념과 관련된 광범위한 의미의 집합)과 체계화된 구성 개념(systematized construct)(더 좁고 맥락 의존적인 재구성)을 구분하는 과정을 포함합니다.

저자들의 접근 방식은 세 가지 주요 단계로 구성됩니다:

1. 구성 요소 도출: NLP, 머신러닝, 미디어 커뮤니케이션, 언어 인류학, 사회학, 철학, 법학 전반에 걸친 삭제 관련 문헌의 목적적 샘플을 검토했습니다. 이 검토를 통해 삭제가 어떻게 개념화되는지에 대한 반복되는 구성 요소들을 식별하였으며, 누락되었거나 암묵적인 요소들을 포착하였습니다.
2. NLP에의 접지(Grounding): 이러한 구성 요소들을 특정 NLP 작업(예: 텍스트 요약)에 접지시키기 위한 협력적 토론 세션을 진행했습니다. 저자들은 작업의 제약 조건(예: 요약 시스템은 소스에 없는 정보를 생략한 것에 대해 책임을 질 수 없음)을 고려할 때, 특정 시스템 출력에서 삭제를 확립할 수 있는지에 대해 심도 있게 논의했습니다.
3. 합성 및 연결: 식별된 구성 요소들을 기능별로 그룹화하고, 이들의 상호작용을 바탕으로 연결하여 구조화된 정의를 형성했습니다. 이후 이 정의를 분석적 프레임워크로 사용하여, 삭제를 명시적으로 개념화하거나 실행화한 9개의 기존 NLP 논문을 조사함으로써 현재 문헌의 트렌드와 공백을 파악했습니다.

핵심 기여

본 논문은 '체계화(systematization)'—즉, 광범위한 배경 구성 개념에서 구체적이고 실행 가능한 구성 개념으로 이동하는 과정—를 촉진하기 위해 설계된 삭제의 구조적 정의를 제안합니다. 이 정의는 실무자가 특정 맥락에서 삭제가 발생했는지 확립하기 위해 반드시 명시해야 하는 6가지 결정적 구성 요소를 명시적으로 식별합니다:

1. 삭제의 대상(Target of Erasure): 누가 또는 무엇이 삭제되었다고 믿어지는가 (예: 특정 정체성, 언어 변이, 주제 또는 역사).
2. 분석의 객체(Object of Analysis): 어디에서 삭제가 관찰되는가 (예: 시스템 출력, 분류 레이블 또는 생성된 텍스트).
3. 배경 조건(Background Conditions): 바람직하지 않다고 간주되는 사회적, 역사적 또는 과거의 패턴들. 이는 분석의 규범적 기초를 형성합니다 (예: 경찰 폭력을 최소화하는 미디어의 역사적 패턴).
4. 기초 지식(Base Knowledge): 분석의 객체에 반영될 것으로 기대되는 지식 또는 정보 (예: 요약 작업에서의 소스 문서 내용).
5. 대안(Alternative): 분석의 객체에 대한 반사실적(counterfactual)이거나 "더 나은" 버전으로, 기초 지식을 반영하면서도 배경 조건을 덜 재생산하는 것.
6. 경감(De-emphasis): 대안과 비교하여 분석의 객체에서 삭제가 관찰되는 메커니즘 (예: 정보의 제거, 수동태를 통한 모호화, 또는 잘못된 정보의 추가).

저자들은 삭제를 다음과 같이 공식적으로 정의합니다: "대상(target)의 경감(de-emphasis)—이 경감이 분석의 객체 내에서 발생하며, 해당 객체가 어떤 기초 지식을 반영하도록 의도된 것일 때—로서, 이는 분석의 객체가 대안(alternative)에 비해 배경 조건의 집합을 덜 재생산하는 것과 관련된다."

결과 및 분석

이 정의를 9개의 기존 NLP 논문에 적용함으로써, 저자들은 현재의 개념화에서 나타나는 몇 가지 패턴과 공백을 확인했습니다:

• 맥락적 접지: 일부 기존 연구들은 적절하게 특정 맥락(예: 논바이너리 정체성 또는 문화적 삭제)에 접지되어 있으나, 6가지 구성 요소를 재명시하지 않고 이를 새로운 설정에 무비판적으로 적용하는 것은 타당성을 위협할 수 있습니다.
• 분포적 의존성: 많은 기존 실행화 방식은 단일 사례보다는 체계적인 패턴이나 차이를 관찰하는 것(분포적 관점)에 의존합니다. 이는 배경 조건이 미비할 때 자주 발생하며, 이로 인해 실무자들은 시스템 출력으로부터 패턴을 추론해야 하는 상황에 놓입니다.
• 배경 조건의 미비한 명시: 많은 연구가 삭제가 권력 구조나 역사적 비대칭성을 강화한다는 점을 인정하지만, 정확히 어떤 개체나 패턴이 연루되어 있는지를 명시하지 못하는 경우가 많습니다. 이는 왜 특정 실행화(예: 인구 통계와 일치시키는 것)가 적절한지를 정당화하기 어렵게 만듭니다.
• 명시적 대안의 부재: 기존 연구에서 "더 나은" 대안을 명시적으로 기술하는 경우는 드뭅로. 실무자들은 종-종 바람직한 시스템 행동이 어떤 모습일지를 추론해야 하며, 이는 정밀한 지표 및 완화 전략 개발을 저해합니다.
• 기초 지식의 제약: 제약이 없는 기초 지식을 가진 작업(예: 페르소나 생성)에서는 생성된 집합이 대표성을 갖는지 확립하기 어렵습니다. 저자들은 향-후 연구가 삭제를 더 잘 격리할 수 있는, 더 제약된 기초 지식을 가진 작업(예: 기계 번역)에 집중할 수 있음을 시사합니다.

의의 및 주장

본 논문은 자신의 주요 기여가 실무자들이 삭제라는 구성 개념을 체계화할 수 있도록 하는 기반을 제공하는 것이라고 주장합니다. 삭제의 구성 요소(대상, 객체, 배경 조건, 기초 지식, 대안, 경감)를 명확히 함으로써, 이 정의는 실무자들이 다음을 수행할 수 있도록 돕습니다:

• 자신의 특정 사용 맥락과 규범적 관심사에 따라 삭제를 명시적으로 기술하고 실행화함.
• 명확한 개념화에 기반한 타당한 측정 도구(지표, 벤치마크)를 개발함.
• 현재의 개념화를 지도화하고 분석하여 트렌드와 공백을 식별함.

저자들은 이 작업이 삭제를 해결하거나 단일한 보편적 지표를 제공하는 것이 목적이 아님을 강조합니다. 대신, 이 연구는 맥-락에 맞는 정의를 엄격하게 생성할 수 있도록 지원하는 체계화 과정을 촉진하기 위한 프레임워크를 제공하는 것입니다. 또한, 삭제는 출력뿐만 아니라 시스템 설계 및 배포 과정에서도 발생할 수 있다는 점을 인정하며, 제안된 정의가 현재 출력에 초점을 맞추고 있다는 한계를 언급하며 논의를 마무리합니다.