💬 NLP

When Annotators Disagree, Topology Explains: Mapper, a Topological Tool for Exploring Text Embedding Geometry and Ambiguity

본 논문은 Mapper(위상 데이터 분석 도구) 가 인간 주석가 간 의견 불일치 시에도 구조적 신뢰도를 유지하는 모듈형 고순도 영역으로 언어 모델의 임베딩 공간을 재구성하는 방식을 드러내며, PCA 나 UMAP 과 같은 기존 시각화 방법보다 모델 모호성을 이해하기 위한 우수한 진단 프레임워크를 제공함을 보여준다.

원저자: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

게시일 2026-04-30

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Nisrine Rair, Alban Goupil, Valeriu Vrabie, Emmanuel Chochoy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 보이지 않는 방에 수천 명의 사람들이 가득 차 있다고 상상해 보세요. 각 사람은 인터넷의 한 문장을 나타냅니다. 이 방에서 비슷한 말을 하는 사람들은 서로 가까이 서 있고, 매우 다른 말을 하는 사람들은 멀리 떨어져 섭니다. 이것이 컴퓨터 모델이 언어를 '생각'하는 방식입니다: 단어들을 거대한 다차원 공간의 점들로 변환합니다.

수년 동안 과학자들은 이 방을 이해하기 위해 2D 사진을 찍어 왔습니다 (UMAP 나 PCA 같은 도구를 사용). 하지만 이 논문은 이러한 사진들이 3D 조각상을 그 그림자를 통해 이해하려는 것과 같다고 주장합니다. 깊이감, 곡선, 그리고 숨겨진 연결고리를 잃게 됩니다.

다음은 평면 사진 대신 3D 위상 지도처럼 작동하는 새로운 도구인 Mapper를 사용하여 이 논문이 발견한 내용입니다.

문제: 인간이 합의할 수 없을 때

연구진은 정치나 인종과 같은 민감한 주제에 대한 트윗 데이터셋을 살펴보았습니다. 그리고 다섯 명의 인간에게 각 트윗을 '공격적'이거나 '비공격적'이라고 표시하도록 요청했습니다.

쉬운 트윗 (A++): 모두가 동의했습니다. (예: "너를 싫어해"는 분명히 공격적입니다).
어려운 트윗 (A0): 인간들이 합의할 수 없었습니다. 어떤 이는 공격적이라고 하고, 다른 이는 그렇지 않다고 했습니다. 이를 모호성이라고 합니다.

보통 인간들이 이견을 보일 때, 컴퓨터 모델도 혼란스러울 것이라고 가정합니다. 하지만 연구진은 모델이 이러한 혼란스러운 트윗에 직면했을 때 실제로 뇌 안에서 무엇을 하고 있는지 확인하고 싶었습니다.

도구: Mapper (점 연결 지도)

3D 방을 2D 사진으로 압축하는 대신, 저자들은 Mapper를 사용했습니다.

비유: 복잡한 동굴 시스템을 매핑하려고 한다고 상상해 보세요.
- 구식 도구 (UMAP/PCA): 입구에서 사진을 찍습니다. 거대한 바위 덩어리를 보게 됩니다. 별도의 터널이 있는지, 아니면 하나의 거대한 동굴인지 알 수 없습니다.
- Mapper: 다양한 각도에서 빛을 비추고, 동굴을 겹치는 층으로 잘라낸 다음, 겹치는 부분에서 점들을 연결합니다. 그 결과 터널이 어떻게 연결되고, 어디서 갈라지며, 어디서 막히는지 정확히 보여주는 그래프(노드와 선의 네트워크) 를 얻게 됩니다.

큰 발견: 모델이 '강제'하는 질서

연구진은 인간들이 이견을 보인 '어려운' 트윗을 모델이 어떻게 처리하는지에 대해 놀라운 사실을 발견했습니다.

학습 전 (지저분한 방): 모델이 처음 데이터를 받았을 때, '공격적'이고 '비공격적'인 사람들은 여기저기 흩어져 있었습니다. 지도는 지저분한 구름처럼 보였습니다.
학습 후 (정돈된 방): 모델이 과제를 학습한 후, 단순히 공격적인 것과 그렇지 않은 것을 위한 두 개의 깔끔한 더미로 나누지 않았습니다. 대신 모듈형 이웃을 구축했습니다.
- 인간들이 이견을 보인 혼란스러운 트윗조차도 모델은 이를 특정하고 구별된 영역으로 그룹화했습니다.
- 충격: 이러한 영역 내부에서 모델은 매우 확신했습니다. 모델은 혼란스러운 트윗들의 그룹을 보고 "이 전체 이웃은 '공격적'이다!"라고 98% 의 확신으로 말했습니다.

비유:
어떤 그림이 '예술'인지 '쓰레기'인지 두고 논쟁하는 관광객 그룹을 상상해 보세요.

인간들: 50 대 50 으로 갈라져 있습니다.
모델: 들어와서 전체 그룹을 바라보고 확신 있게 선언합니다. "이 전체 그룹은 예술이다!" 그것은 주저하지 않습니다. 이 그룹을 위한 '구역'을 만들고, 그 구역 안에 있는 인간들이 여전히 논쟁 중이라는 사실을 무시한 채 단일 레이블을 할당합니다.

이것이 의미하는 바

이 논문은 모델이 혼란스러울 때 단순히 '추측'하지 않는다고 주장합니다. 대신 모델은 스스로의 방식으로 의미를 만들기 위해 공간을 재구성합니다.

결정을 내리기 안전한 매끄럽고 일관된 영역을 만듭니다.
인간들의 이견이라는 '노이즈'를 무시하고 자신의 구조를 부과합니다.
이것이 모델이 과신할 수 있는 이유를 설명합니다: 모델은 인간들의 개별적인 혼란을 보고 있는 것이 아니라, 데이터가 분류된 '이웃'을 보고 있으며, 그 이웃은 명확한 레이블을 가지고 있기 때문입니다.

왜 Mapper 가 더 나은가

저자들은 만약 UMAP 과 같은 구식 '사진' 도구를 사용한다면, 공격적인 트윗들이 하나의 큰 깔끔한 원 안에 있다고 생각할 수 있다고 보여줍니다. 하지만 Mapper 는 실제로는 얇은 다리로만 연결된 많은 다른 고립된 섬들에 있다는 것을 밝혀냅니다.

구식 관점: "모든 것이 깔끔하게 분리되어 있다."
Mapper 관점: "섬들의 복잡한 웹이다. 모델은 각 섬에서 확신하지만, 섬들은 단순한 사진으로는 숨겨지는 방식으로 흩어져 있다."

요약

이 논문은 인간들이 레이블에 대해 이견을 보일 때, 컴퓨터 모델이 혼란스러워하고 흔들리지 않는다고 주장합니다. 대신 모델은 이러한 혼란스러운 예들을 특정 구역으로 그룹화하고 확신 있게 단일 레이블을 할당하는 새로운 지도를 구축합니다. 이러한 '위상학적' 관점 (형태와 연결을 보는) 은 데이터가 지저분할지라도 모델이 실제로 매우 구조화되어 있음을 보여줍니다. 모델이 모호성을 이해하지 못하는 것이 아니라, 때로는 과신할지라도 일관된 자신의 현실을 만들어 모호성을 해결하는 방법을 찾은 것입니다.

다음은 논문 "When Annotators Disagree, Topology Explains: Mapper, a Topological Tool for Exploring Text Embedding Geometry and Ambiguity"에 대한 상세한 기술 요약입니다.

1. 문제 제기

자연어 처리 (NLP) 모델은 일반적으로 스칼라 지표 (예: 정확도, F1 점수) 를 사용하여 평가되는데, 이는 특히 인간 주석가 간 이견이 발생하는 상황에서 모델이 내부적으로 **모호성 (ambiguity)**을 어떻게 표현하는지 포착하지 못합니다.

격차: 기존 연구는 출력 수준에서 소프트 레이블이나 신뢰도 추정을 통해 모호성을 모델링해 왔으나, 파인튜닝된 모델의 고차원 임베딩 공간 내에서 모호한 인스턴스가 구조적으로 어떻게 인코딩되는지에 대한 이해는 제한적입니다.
기존 도구의 한계: PCA 나 UMAP 과 같은 표준 기하학적 시각화 도구는 고차원 구조를 지나치게 단순화하는 경향이 있습니다. 이러한 도구들은 유클리드 거리 가정에 의존하며, 쌍곡선 임베딩 공간에서 흔히 발견되는 복잡하고 비볼록 (non-convex) 이며 계층적인 관계를 평평하게 만들어 결정 경계와 이웃 구조에 대한 오해를 초래합니다.

2. 방법론

저자들은 텍스트 임베딩의 기하학을 분석하기 위해 위상 데이터 분석 (TDA) 의 도구인 Mapper를 사용することを 제안합니다. 데이터를 저차원으로 투영하는 차원 축소 기법과 달리, Mapper 는 연결성과 국소적 구조를 보존하는 그래프 기반 요약을 구성합니다.

데이터셋 및 모델

데이터셋: MD-Offense, 5 명의 인간 주석가에 의해 주석된 10,753 개의 영어 트윗 데이터셋.
- 모호성 대리 지표: 인스턴스는 동의 수준에 따라 분류됩니다: A++(5/5 동의, 모호하지 않음), A+(4/5), A0(3/5, 높은 모호성/이견).
모델: RoBERTa-Large(모든 모호성 수준에서 강력한 성능을 보임). 사전 학습 버전과 파인튜닝 버전 모두 분석되었습니다.
임베딩: 마지막 숨은 층의 최종 [CLS] 토큰에서 추출되었습니다.

Mapper 알고리즘 구현

저자들은 KeplerMapper 라이브러리를 사용하여 Mapper 를 다음과 같은 구성으로 구현했습니다:

필터링 (렌즈 함수): 고차원 임베딩 ( $d=1024$ $d = 1024$ ) 은 서로 다른 기하학적 속성을 포착하기 위해 6 가지 다른 렌즈 함수를 사용하여 1 차원 구간 ( $k=1$ $k = 1$ ) 으로 투영되었습니다:
- 중심 투영: 결정 경계와의 정렬.
- PCA: 전역 분산.
- 이심률: 훈련 데이터로부터의 거리 (이상치 탐지).
- L2 노름: 활성화 크기.
- 무작위 투영: 기준선.
커버링: 투영된 공간은 해상도 $r=40$ 과 겹침 $\epsilon=0.3$ 을 가진 겹치는 초입방체 (구간) 로 덮였습니다.
클러스터링: 각 구간 내에서 데이터 포인트는 고정된 클러스터 수를 부과하지 않고 다양한 밀도를 처리하기 위해 HDBSCAN(계층적 밀도 기반 공간 클러스터링) 을 사용하여 클러스터링되었습니다.
그래프 구성: 노드는 클러스터를 나타내며, 엣지는 겹치는 커버로 인해 공통 데이터 포인트를 공유하는 경우 노드를 연결합니다.

위상 지표

결과를 정량화하기 위해 저자들은 세 가지 지표를 정의했습니다:

컴포넌트 순도 (CP): 연결된 컴포넌트 내 노드의 평균 순도 (클래스 동질성 측정).
엣지 동의 (EA): 동일한 다수 클래스 레이블을 가진 노드를 연결하는 엣지의 비율 (전역 일관성 측정).
다수 일치 (MM): 컴포넌트 수준에서 모델이 예측한 다수 레이블과 실제 지상 진실 (ground-truth) 다수 레이블 간의 정렬.

3. 주요 기여

모호성에 대한 위상적 관점: 이 논문은 파인튜닝된 모델이 임베딩 공간을 어떻게 재구성하는지 시각화하는 진단 도구로 Mapper 를 소개하며, 모델이 단순히 클래스를 선형 클러스터로 축소하는 것이 아니라 모듈형 비볼록 영역으로 조직화한다는 것을 밝혀냈습니다.
"구조적 확신"의 발견: 이 연구는 인간 주석가가 이견을 보이는 매우 모호한 데이터 (A0) 에서조차 모델이 이러한 인스턴스를 매우 일관되고 예측 순도가 높은 위상 영역으로 조직화한다는 숨겨진 긴장을 드러냈습니다. 모델은 근본적인 레이블 노이즈와 관계없이 전체 위상 컴포넌트에 단일 레이블을 할당함으로써 "과도한 확신"을 보입니다.
기하학적 도구 대비 우월성: 저자들은 Mapper 가 UMAP 과 PCA 가 평평하게 만들거나 흐리게 만드는 구조적 세부 사항 (분열된 영역, 경계 붕괴, 얽힌 클래스) 을 밝혀낸다고 입증했습니다.

4. 주요 결과

파인튜닝은 위상을 재구성합니다: 파인튜닝은 기본 모델의 분열된 상태에서 구조화된 모듈형 위상으로 임베딩 공간을 변환합니다.
- 순도 증가: 파인튜닝 후, 98% 이상의 연결 컴포넌트가 모호한 A0 하위 집합에서도 $\ge90\%$ 의 예측 순도를 보입니다.
- 엣지 일관성: 파인튜닝 후 엣지 동의 (EA) 가 크게 증가하여 인접 클러스터 간의 더 매끄러운 전환을 나타냅니다.
"과도한 확신" 현상:
- A0 하위 집합 (높은 인간 이견) 에서 컴포넌트 내의 지상 진실 레이블은 노이즈가 많습니다 (CP 약 31.5%).
- 그러나 동일한 컴포넌트 내의 모델 예측은 거의 완벽하게 순수합니다 (CP 약 98.0%).
- 이는 모델이 모호성을 해결하기 위해 거친 위상 구조를 부과하여 모호한 인스턴스를 이진 훈련 목표와 일치하는 영역으로 그룹화함으로써 인간 이견의 뉘앙스를 효과적으로 "무시"함을 나타냅니다.
견고성: 이러한 발견은 다양한 렌즈 함수 (1 차원 및 2 차원) 와 다양한 모델 아키텍처 (BERT, DeBERTa, DistilBERT 등) 에서 유효하며, 이는 파인튜닝된 트랜스포머의 근본적인 행동임을 시사합니다.

5. 중요성 및 함의

진단 도구: Mapper 는 스칼라 지표를 넘어 결정 영역의 내부 기하학을 드러내며 모델이 모호성을 어떻게 해결하는지 이해하는 강력한 방법을 제공합니다.
가정 도전: 결과는 모델이 모호한 데이터에서 무작위로 추측함으로써 실패한다는 가정에 도전합니다. 대신 모델은 체계적이고 영역 수준의 행동을 보이며, 인간 합의와 일치하지 않을 수 있는 복잡한 하위 구조를 파내어 일반화합니다.
향후 방향: 저자들은 이러한 위상적 통찰력이 다음과 같은 능동적 모델링 전략에 정보를 제공할 수 있다고 제안합니다:
- 위상 순도에 기반하여 훈련용 하위 집합 선택.
- 위상적 불확실성을 고려한 파인튜닝 체계 설계.
- 모호한 영역을 위한 견고성 평가 개발.
재현성: 모든 코드와 구성은 오픈 소스로 제공되어 위상적 NLP 분석에 대한 추가 연구를 촉진합니다.

결론적으로, 이 논문은 위상이 모호성의 기하학을 설명한다고 주장합니다: 파인튜닝된 모델은 단순히 분류하는 것을 배우는 것이 아니라, 임베딩 공간을 인간 주석에 존재하는 불확실성을 종종 무효화하는 모듈형 고신뢰 영역으로 재구성합니다.