기술 요약: SUBDATA – 이론 기반의 LLM 관점 정렬을 위한 이질적 데이터셋 간의 가교 역할

1. 문제 정의

대규모 언어 모델(LLM)이 미묘한 인간의 관점을 포착하는 능력이 점점 향상됨에 따라, 연구자들은 혐오 표현 탐지와 같은 주관적인 과업에서 모델의 효용성을 탐구하고 있습니다. 이 영역의 핵심 과제는 **관점 정렬(perspective alignment)**입니다. 즉, 다양한 맥락에서 다양한 인간의 관점(예: 정치적 또는 인구통교적 관점)을 반영할 수 있는 능력입니다.

현재의 평가 노력은 표준화된 자원의 부족으로 인해 어려움을 겪고 있습니다. 많은 연구가 서로 다른 주석 체계와 인구통계학적 분류를 가진 일관되지 않은 데이터셋에 의존하고 있어, 서로 다르게 정렬된 모델들이 다운스트림 태스크에서 어떻게 다르게 수행되는지 비교하기 어렵게 만듭니다. 또한, 기존의 평가 방법론은 혐생 표현 탐지와 같이 인간의 주석이 이념적 노선에 따라 자연스럽게 갈리는 작업에서 발생하는 "정답(ground truth)"의 내재적 주관성을 처리하는 데 어려움을 겪습니다. 따라서 논쟁의 여지가 있는 객관적 라벨에 의존하지 않고, 관점 조건화(perspective conditioning)가 모델 행동에 미치는 영향을 체계적이고 이론 기반으로 평가할 수 있는 프레임워크가 필요합니다.

2. 방법론

본 논문은 이러한 과제를 해결하기 위해 두 단계의 프레임워크를 제안합니다: SUBDATA 라이브러리를 통한 데이터 표준화 및 이론 기반 가설 검증.

2.1 SUBDATA 라이브러리 구축

SUBDATA는 주관적 과업을 위한 이질적인 데이터셋을 수집, 조화 및 표준화하기 위해 설계된 오픈 소스 파이썬 라이브러리입니다.

• 데이터 수집: 저자들은 명시적인 타겟 인구 집단 주석을 포함하는 데이터셋을 식별하기 위해 다단계 접근 방식을 채택했습니다. 여기에는 도메인 전문 지식 활용, 기존 저장소(예: hatespeechdata.com) 조사, 그리고 체계적인 문헌 검색이 포함되었습니다.
• 선택 기준: 데이터셋은 주관적 구성 개념(혐오 표현, 독성 등)에 초점을 맞추고 있으며, 구체적인 타겟 그룹 주석(예: 일반적인 "기타" 그룹이 아닌 "유대인" 또는 "여성"을 지정함)이 존재하는지를 기준으로 선정되었습니다.
• 통합 분류 체계(Unified Taxonomy): 10개의 선택된 데이터셋(총 약 852,000개 인스턴스) 간의 불일치하는 라벨링을 해결하기 위해, SUBDATA는 표준화된 분류 체계를 구현합니다. 이 분류 체계는 다양한 원래 키워드(예: "Kikes", "Jewish people", "blacks")를 연령, 장애, 성별, 이주, 출신, 정치, 인종, 종교, 성적 지향의 9가지 차원에 걸쳐 일관된 타겟 카테고리로 매핑합니다.
• 처리 과정: 라이브러리는 다중 타겟 주석을 별도의 인스턴스로 분리하고, 중복을 제거하며, 특정 타겟 그룹이 없는 항목을 제외하는 방식으로 데이터를 처리합니다. 이 라이브러리는 원본 데이터셋을 직접 호스팅하지는 않지만, 이를 통합하기 위한 매핑 로직을 제공합니다.

2.2 이론 기반 평가 프레임워크

표준화된 데이터를 바탕으로, 본 프레임워크는 사회적 또는 정치적 이론에서 도출된 가설을 테스트하는 워크플로우를 제안합니다:

1. 이론 (T): 인구통계학적 또는 이념적 집단 간의 인식 차이를 예측하는 확립된 이론을 식별합니다.
2. 가설 (H): 특정 관점에 정렬된 LLM이 콘텐츠를 어떻게 분류할지에 대한 검증 가능한 가설을 수립합니다.
3. 실험 (E): 표준화된 데이터셋을 사용하여 통제된 실험을 수행함으로써, 서로 다르게 정렬된 모델 간의 분류 차이를 측정합니다.

이 접근 방식은 "정답"에 대한 합의를 피합니다. 대신, 서로 다른 관점에 따라 조건화된 모델 출력의 *발산(divergence)*을 측정함으로써, 관점 조건화가 다운스트림 행동을 어떻게 형성하는지에 대한 직접적인 렌즈를 제공합니다.

3. 주요 기여

1. SUBDATA 라이브러리: 이질적인 혐오 표현 데이터셋을 표준화하여, 주석 체계와 인구통계학적 분류를 통합함으로써 일관된 교차 데이터셋 분석을 가능하게 하는 오픈 소스 도구입니다.
2. 통합 분류 체계: 타겟 그룹 라벨링의 불일치를 해결하고(예: 맥락에 따라 "mexicans"를 인종 또는 출신 카테고리로 매핑), 일반적인 라벨에 "unspecified" 접미사를 도입하는 구조화된 매핑 시스템입니다.
3. 평가 프레임워크: 주관적인 정답에 대한 순응 여부가 아닌, 비교 가능한 모델 행동에 의존하여 LLM의 관점 정렬을 평가하는 새로운 이론 기반 방법론입니다.
4. 실증적 시연: 특정 인구 집단을 대상으로 하는 혐해 표현을 탐지할 때, 페르소나로 조건화된 LLM(좌파 및 우파 성향의 정치적 입장에 정렬됨)이 어떻게 반응하는지 테스트하기 위해 프레임워크를 적용한 구체적인 유스케이스를 제시합니다.

4. 실험 결과

저자들은 세 가지 오픈 소스 지시 튜닝 LLM(Mistral-7B, Llama-3.1-8B, Qwen2.5-7B)에 대해 각 모델당 20개의 좌파 성향 및 20개의 우파 성향 페르소나를 사용하여 프레임워크를 적용했습니다.

• 비대칭적 민감도: 모든 모델과 타겟 그룹에 걸쳐, 좌파 성향의 페르소나는 우파 성향의 페르소나보다 일관되게 높은 혐해 표현 탐지율을 보였습니다. 이러한 효과는 소수 집단(예: 흑인, 무슬림, LGBTQ+)과 다수 집단(예: 백인, 기독교인, 남성) 모두에서 관찰되었습니다.
• 일반적 강화 vs 선택적 보호: 결과는 좌파 성향의 조건화가 특정 집단을 선택적으로 보호하기보다는 분류 임계값을 전반적으로 강화하는 방향으로 이어진다는 것을 시사합니다. 이는 우파 성향의 페르산이 다수 집단을 더 보호할 것이라는 가설과 상반되는 결과입니다.
• 모델별 편차:
  • Mistral은 좌우 페르소나 간의 가장 강력한 발산을 보였습니다 (Odds Ratio = 1.364).
  • Llama는 페르소나 효과가 가장 작았으나 (OR = 1.068), 전반적인 기본 탐지율은 가장 높았습니다.
  • Qwen은 페르소나 민감도 측면에서 그 중간 정도였으나, 기본 탐지율은 가장 낮았습니다.
• 특이 사항: Llama는 백인에 대해 이례적으로 높은 보호율(좌파 페르소나 하에서 0.656의 탐지율)을 보였는데, 이는 인종 담론이 주로 백인을 대조군으로 삼는 미국 중심적 훈련 분포를 반영했을 가능성이 있습니다.

5. 의의 및 주장

본 논문은 SUBDATA를 LLM 관점 정렬이라는 신흥 분야의 기초 자원으로 자리매김합니다. 그 의의는 다음과 같습니다:

• 엄격한 비교 가능성 확보: 데이터셋을 표준화함으로써, 연구자들이 일관되지 않은 특정 연구용 자원을 넘어 모델 행동에 대해 누적적이고 비교 가능한 주장을 할 수 있도록 합니다.
• 주관성 문제 해결: 이론 기반 프레임워크는 혐해 표현 탐지와 같은 과업의 내재적 주관성을 인정합니다. 이는 평가 지표를 "논쟁적인 정답에 대한 정확도"에서 "관점 조건화된 행동의 정량적 차이"로 전환합니다.
• 커뮤니티 구축: 저자들은 연구 커뮤니티가 추가적인 데이터셋을 기여하고, SUBDATA를 혐해 표현을 넘어 다른 주관적 구성 개념(예: 허위 정보)으로 확장할 것을 권장하며, 이를 통해 SUBDATA를 종합적인 다중 구성 개념 벤치마크 세트로 발전시키고자 합니다.

저자들은 현재의 분류 체계가 수동 매핑 선택을 포함하고 있으며, 라이브러리가 재라벨링 없이 기존 주석을 집계한다는 점을 인정하며 신중한 입장을 유지합니다. 이들은 이 도구가 유해하거나 편향된 시스템 생성을 가능하게 하기 위함이 아니라, 평가의 투명성과 이해를 높이기 위해 설계되었음을 강조합니다.