기술 요약: 도덕적 다양성 학습하기

문제 정의

본 논문은 텍ка의 도덕적 가치 분류 문제, 특히 도덕적 기초 이론(Moral Foundations Theory, MFT)의 프레임워크 내에서의 문제를 다룬다. 크라우드소싱 데이터로 학습된 지도 학습 기반 자연어 처리(NLP) 모델들은 강력한 성능을 달acia왔으나, 표준적인 접근 방식은 일반적으로 여러 주석가(annotator)의 레이블을 하나의 "정답(ground truth)"으로 집계한다. 저자들은 이러한 관행이 도덕적 판단의 내재적 주관성을 간과한다고 주장한다. 짧은 소셜 미디어 텍스트(예: 트윗)를 다루는 작업에서 주석가 간의 불일치는 단순한 구조적 노이즈가 아니라, 개인의 관점, 문화적 맥락, 그리고 텍스트 자체의 모호성을 반영하는 진정한 변화를 나타낸다. 합의를 강제함으로써 기존 모델들은 의미 있는 변이를 숨길 수 있으며, 도덕적 표현을 해석하는 다양한 개인의 뉘앙스를 포착하지 못해 성능에 대한 오해의 소지가 있는 인상을 줄 수 있다.

방법론

저자들은 주석의 결과물을 집계하는 대신, 개별 주석가의 관점을 명시적으로 포착하는 모델링 방법을 제안한다. 핵심 방법론은 미세 조정된 BERT 분류기를 특화된 **주석가 레이어(Annotator Layer)**로 확장하는 것이다.

1. 데이터 구조: 본 연구는 23명의 개인에 의해 주석이 달린 35,108개의 트윗을 포함하는 도덕적 기초 트위터 코퍼스(MFTC)를 활용한다. 각 트윗은 다섯 가지 도덕적 기초(권위, 돌봄, 공정성, 충성심, 순결)와 그 극성(미덕, 악덕, 또는 부재)에 대해 레이블이 지정되어 있다. 데이터는 상당한 희소성과 낮은 주석가 간 일치도(Krippendorff's $\alpha$ 범위 0.25 ~ 0.40)를 보이며, 단일 주석가가 전체 데이터셋을 레이블링하지 않았다.
2. 모델 아키텍처: 모델은 입력 텍스트에 대한 문맥적 임베딩($h_i$)을 생성하기 위해 사전 학습된 BERT 인코더를 유지한다. 투영 레이어(projection layer)는 이 임베딩을 더 낮은 차원의 공간으로 매핑한다. 결정적으로, 레이블을 제공하는 특정 주석가($a_j$)에 따라 로짓(logits)을 조정하는 주석가 레이어가 도입된다. 저자들은 두 가지 변형을 구현하였다:
   • 편향 전용 주석가 레이어 (BO-AL): 세 가지 클래스(미덕, 악덕, 부재)에 대한 각 주석가의 특정 편향을 나타내는 행으로 구성된 학습된 편향 행렬($B$)을 적용한다. 이 변형은 적은 파라미터로 해석 가능성을 목표로 한다.
   • 선형 변환 주석가 레이어 (LT-AL): 각 주석가를 위한 선형 변환을 사용하여, 고유한 가중치 행렬과 편향 벡터를 통해 투영된 텍스트 특징을 출력 로짓으로 매핑한다. 이 변형은 복잡한 개별 패턴을 모델링할 수 있는 더 큰 표현력을 제공한다.
3. 학습 목표: 모델은 개별 주석(텍스트, 주석가, 레이블의 튜플)에 대해 교차 엔트로피 손실(cross-entropy loss)을 사용하여 학습된다. 정규화에는 L2 가중치 감쇠(weight decay)와 평균적인 주석가가 제로 편향을 갖도록 보장하기 위한 중심 편향 페널티(centered bias penalty)가 BO-AL 변형에 포함된다.

주요 기여

본 논문은 세 가지 주요 기여를 한다:

1. 개별 관점의 모델링: 주석가의 특정 특징을 노이즈가 아닌 학습 가능한 신호로 취급하여, 도덕적 분류의 주관성을 명시적으로 고려하는 프레임워크를 도입한다.
2. 편향의 학습 가능성 입증: 저자들은 주석가의 편향과 성향이 학습 가능한 특징임을 보여준다. 이들의 모델은 표준적인 미세 조정된 BERT 베이스라인과 비교했을 때, 개별 주석을 예측하는 데 있어 평균 10.2%의 매크로 F1 점수 향상을 달성했다.
3. 집계에 대한 비판: 본 연구는 주석을 단일 정답으로 집계하는 것의 한계를 강조한다. 이는 집계된 레이블로 학습된 모델이 매우 높은 정확도를 보이는 것처럼 보일 수 있지만, 실제로는 데이터에 내재된 근본적인 불일치와 주관성을 은폐할 수 있음을 보여준다.

결과

• 원시 주석에 대한 성능: 두 가지 주석가 레이어 변형(BO-AL 및 LT-AL) 모두 개별 주석을 예측하는 데 있어 베이스라인인 FT-BERT 모델보다 우수한 성능을 보였다. LT-AL 변형은 특히 모호성이 높고 주석가 간 일치도가 낮았던 "결속(binding)" 기초(권위, 충성심, 순결)에서 가장 유의미한 이득을 얻었다.
• 클래스별 개선: 가장 실질적인 분류 개선은 "부재" 클래스보다 도덕적 클래스(미덕 및 악덕)에서 발생했다. 예를 들어, LT-AL 모델은 "순결" 미덕 클래스의 F1 점수를 베이스라인 대비 0.265 향상시켰다.
• 해석 가능성: BO-AL 모델에서 추출된 편향 행렬은 뚜렷한 "주석가 유형"을 드러냈다. 일부 주석가는 일관되게 미덕이나 악덕 레이블을 선호한 반면, 다른 이들은 더 신중하여 "부재" 레이벨을 자주 선택했다. 이러한 패턴은 서로 다른 기초에 따라 달랐으며, 이는 주석가 편향이 보편적인 것이 아니라 맥락 의존적임을 시사한다.
• 집계의 역설: 저자들이 모든 주석가에 대한 예측을 평균 내어 집계된 레이블에 대해 LT-AL 모델을 평가했을 때, 성능이 베이스라인에 비해 크게 감소했다. 이는 개별 관점을 포착하도록 최적화된 모델이 반드시 합의된 레이블과 일치하는 것은 아니며, 집계된 레이벨에 대한 높은 성능이 인간 판단의 진정한 다양성을 포착하지 못하는 모델의 능력을 가릴 수 있음을 나타낸다.

의의 및 주장

본 논문은 도덕적 분류 작업에서의 불일치가 도적 영역의 내재적 주관성을 반영하는 학습 가능한 특징이라고 주장한다. 개별 관점을 모델링함으로써 저자들은 다음을 입증한다:

• 표준적인 집계 방식은 인간 경험의 내재적 갈등과 미묘함을 놓치는, "매끄럽게 다듬어진" 현실을 초래할 수 있다.
• 주석가의 편향은 제거해야 할 노이즈가 아니라, 서로 다른 개인이 도덕적 콘텐츠를 어떻게 해석하는지에 대한 의미 있는 정보를 담고 있다.
• 향후 연구는 단일한 "정답"을 위한 범용 분류기를 개발하는 것을 넘어, 도덕적 판단의 다양성을 반영하는 모델을 개발하는 방향으로 나아가야 한다.

저자들은 데이터 가용성 문제로 인해 학습된 주석가 특징을 외부 메타데이터(예: 정치적 이념)와 상관시킬 수 없었다는 점과, 현재의 접근 방식이 단일 레이블을 요구하는 다운스트림 애플리케이션을 위한 고품질의 집계된 예측을 생성하는 견고한 메커즘을 아직 제공하지 못한다는 점 등 한계를 겸허히 언급했다. 이들은 이러한 학습된 특징을 활용하는 원칙적인 집계 방법이 향후 중요한 연구 분야로 남을 것이라고 제안한다.