기술 요약: 언어 모델은 그들의 은어를 알고 있는가? 사용자 생성 콘텐츠 내 퀴어 은어 이해

문제 제기

퀴어 은어의 문화적 중요성과 급격한 진화에도 불구하고, 이는 자연어 처리(NLP) 연구에서 여전히 과소 대표되어 있다. 현재의 대규모 언어 모델(LLM)은 이 영역을 다루는 데 있어 두 가지 측면의 과제에 직면해 있다. 하나는 언어가 빠르게 진화하여 모델이 언어적 변화를 추적하기 어렵다는 것이며, 다른 하나는 이 언어가 사회적 정체성과 깊게 결합되어 있어 집단 구성원의 표식 역할을 한다는 점이다. 기존의 NLP 연구는 주로 퀴어 언어를 편향 및 유해성 탐지(예: 재탈환된 용어를 혐오 표현으로 분류하는 것)나 일반적인 은어 처리의 관점에서 다루었을 뿐, 모델이 커뮤니티 특유의 표현을 실제로 이해하고 정의하는 능력을 평가하는 데에는 미치지 못했다. 더욱이 많은 퀴어 용어들은 다의성을 띠고 있어(예: "bear", "tea", "drag"), 일상적인 의미와 특정 퀴어적 함의를 동시에 지니며, 이는 사용자 생성 콘텐츠(UGC)에서의 정확한 해석을 복잡하게 만든다.

방법론

데이터셋 구축: Slang-Q

이러한 자원의 부재를 해결하기 위해 저자들은 퀴어 관련 용어를 포함하는 1,024개의 영어 문장으로 구성된 수동 큐레이션 데이터셋인 Slang-Q를 도입했다. 구축 과정은 다음과 같다:

1. 분류 체계 개발: 학술 논문(Tint [13], Ramesh et al. [23]), 온라인 아카이브(Wikipedia, Wiktionary), 커뮤니티 렉시콘(Lexicon Library.LGBT) 등 다양한 출처로부터 118개의 고유한 퀴어 관련 용어 목록을 수집했다. 용어들은 광범위한 카테고리(정체성(Identity), 은어(Slang), 교차성(Intersectional))와 하위 카테고리(재탈환(Reclaimed), 약어(Shorthand), 관용구(Idiomatic expression), 대명사(Pronoun), 철자 변형(Spelling variation))로 분류되었다.
2. 추출 및 필터링: 후보 문장들을 용어 목록과의 문자열 매칭을 통해 Urban Dictionary(185,795개 항목)에서 자동 추출했다.
3. 수동 주석 달기: 3,184개의 초기 후보 문장에 대해 2단계 수동 필터링 과정을 적용했다. 주석 작성자들은 (i) 의미적 관련성(용어가 동음이의어가 아닌 퀴어 은어로서 사용되었는지 확인)과 (ii) 유해성(저속하거나 적대적인 콘텐츠 제외)을 평가했다. 그 결과, 각각 골드 스탠다드 참조 정의와 쌍을 이루는 1,024개의 유효한 항목이 도출되었다.

실험 설정

본 연구는 네 가지 뚜렷한 프롬프팅 조건 하에서 퀴어 은어 용어를 정의하는 능력(Claude Sonnet 4.6, Qwen3 32B, LLaMA 4 Scout, LLaMA 3.3 70B)을 평가했다. 평가는 정의 생성 작업으로 프레임워크를 설정했으며, 조건은 다음과 같다:

• 용어 베이스라인 (Term Baseline): 모델은 대상 용어만을 받으며, 일반적인 언어 전문가 역할을 수행한다.
• 용어 은어 (Term Slang): 모델은 용어만을 받지만, "퀴어 인터넷 은어 전문가"로 프롬프트된다.
• 문맥 베이스라인 (Context Baseline): 모델은 용어와 예시 문장을 받으며, 일반적인 전문가 역할을 수행한다.
• 문맥 은어 (Context Slang): 모델은 용어와 예시 문장을 받으며, 퀴어 은어 전문가 역할을 수행한다.

평가 지표

모델 출력값은 골드 참조 정의와 비교하여 두 가지 지표로 평가되었다:

• ROUGE-L: 어휘 및 구조적 중첩도를 측정한다.
• BERTScore: 문맥적 임베딩을 통해 의미적 유사도를 측정한다.
  다중 참조 방식이 사용되었으며, 출력값을 원본 인간 정의와 길이가 다양한 두 개의 GPT-5.5 생성 대안과 비교하여 견고성을 확보했다. 또한, 모델이 단순히 데이터셋 인스턴스를 암기한 것이 아닌지 확인하기 위해 데이터 오염 퀴즈(Data Contamination Quiz, DCQ)도 활용되었다.

주요 결과

성능 개요

• 인간 베이스라인: 인간이 생성한 정의는 ROUGE-L 0.48, BERTScore 0.91을 달성했다.
• 모델 성능: 평가된 모든 모델은 인간의 상한선보다 낮은 점수를 기록했다. 그러나 BERTScore 결과는 상대적으로 높고 모델 간에 일관되게 나타났는데(0.85–0.86 범위), 이는 모델들이 종종 의미적으로 정확한 출력을 생성함을 시사한다. ROUGE-L 점수는 더 낮았으며(0.14–0.18), 이는 해당 지표가 어휘적 변이에 민로하기 때문임을 반영한다.
• 모델 간 차이: 단일 모델이 모든 조건에서 다른 모델을 유의미하게 압도하지는 않았으며, 이는 훈련 데이터 노출 정도(예: Claude는 오픈 웨이트 모델보다 소스 데이터의 구절을 더 많이 암기함)가 다름에도 불구하고 UGC 내 퀴어 은어에 대해 전반적으로 유사한 지식을 가지고 있음을 시사한다.

프롬프팅 조건의 영향

• 문맥 및 프레이밍: 용어 베이스라인 조건(용어만 제공, 일반적 프레이밍)은 모든 모델에서 가장 낮은 점수를 기록했다. 은어 기반 프레이밍(도메인을 명시적으로 식별)이나 문장 문맥(예시 문장)이 제공될 때 성능이 유의미하게 향상되었다.
• 다의성: 결과는 디스앰비구에이션(disambiguating, 모호성 해소) 신호가 없을 경우, 모델들이 다의적 용어의 지배적인 일반 언어 의미로 회귀한다는 것을 보여준다. 문맥과 도메인 특화 프레이밍은 모델이 의도된 퀴어 특유의 의미로 수렴하도록 돕는다.

카테고리별 발견 사항

• 교차적 용어 (Intersectional Terms): 다른 커뮤니티(예: AAVE, 팬덤)와 겹치는 용어들은 본질적인 모호성과 미묘한 사용법으로 인해 지속적으로 가장 낮은 점수를 기록했다.
• 은어 및 정체성 용어: 이 카테고리들은 더 높은 점수를 받았으나 변동성이 컸다. 은어는 도메인 프레이밍과 문맥적 근거 모두로부터 가장 많은 도움을 받았다.

수동 오류 분석

200개의 출력물에 대한 질적 분석 결과는 다음과 같다:

• 문맥 의존성: 문맥이 없을 때, 모델들은 빈번하게 일반적인 의미로 회귀하거나 새로운 용어에 대해 정의를 환각(hallucination)했다. 문맥은 난해한 용어(예: "lesbotorium")에 대해서도 올바른 추론을 가능하게 했다.
• 질적 뉘앙스: 모델들이 핵심 의미는 식별할 수 있었으나, 사회문화적 뉘앙스(예: 재탈환 상태, 특정 커뮤니티 연관성)를 누락하거나, 간결한 정의를 제공하기보다 문맥을 과하게 설명하는 경향이 있었다.
• 평가 한계: 자동 지표는 때때로 유효한 대안적 의미나 추론을 포함한 정답 정의를 패널티를 주는 경우가 있었으며, 이는 실제 실패와 유효한 다의성 처리 사이를 구분하기 위해 수동 평가가 필요함을 강조한다.

의의 및 기여

본 논문은 다음과 같은 기여를 주장한다:

1. 자원 생성: UGC 내 퀴어 은어에 대한 LLM의 이해를 평가하기 위해 설계된 최초의 수동 큐레이션 데이터셋인 Slang-Q와 118개 용어의 구조화된 분류 체계를 도입했다.
2. 초점의 전환: 편향 탐지를 넘어, 모델을 지식의 원천으로서 평가하며, 특히 커뮤니티 특유의 언어를 정확하게 정의하고 이해하는 능력을 테스트한다.
3. 실증적 증거: 현재의 LLM이 퀴어 은어에 대한 기초적인 이해를 갖추고 있지만, 그 성능은 프롬프팅 전략에 크게 의존한다는 것을 입증했다. 명시적인 도메인 프레이밍과 문맥적 예시는 다의적 용어를 식별하고 커뮤니티 특유의 의미에 접근하는 데 필수적이다.
4. 한계 및 향후 방향: 저자들은 데이터셋이 영어로 제한되어 있으며 2026년의 스냅샷을 나타낸다는 점을 겸허히 언급했다. 이들은 향후 연구가 대화, 번역 및 다른 언어로 확장되어야 한다고 제안하며, 풀뿌리 렉시콘의 역동적인 성격을 인정했다.

연구는 LLM이 퀴어 은어를 이해하는 데 아직 완벽하지는 않지만, 적절한 도메인 프레이밍과 문맥의 지원을 받을 때 정확한 해석이 가능하다는 결론을 내리며, 이는 사용자 접점 환경에서 더 신뢰할 수 있고 포용적인 NLP 시스템을 위한 경로를 제시한다.