Distributions In, Distributions Out: The Case for Soft-Label Training

자신이 무엇을 모르는지 아는 기술

당신이 로봇에게 세상을 보는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 흐릿한 형체의 사진을 보여주며 "이것이 고양이인가요, 강아지인가요?"라고 묻습니다. 만약 열 명의 서로 다른 사람에게 물어본다면, 여섯 명은 "고양이"라고 투표하고 네 명은 "강아지"라고 투표할 수도 있습니다. 인공지능의 세계에서 이것은 전형적인 문제입니다. 어떻게 하면 기계가 세상이 항상 흑백논리로 명확하게 나뉘지 않는다는 것을 이해하도록 가르칠 수 있을까요?

오랫동안 이러한 기계를 훈련하는 표준적인 방법은 단 하나의 정답을 강요하는 것이었습니다. 우리는 그 열 명의 인간 투표를 가져와서 합산한 뒤, 로봇에게 "정답은 고양이다"라고 말합니다. 우리는 네 개의 "강아지" 투표를 버리고, 그 사진이 결코 모호하지 않았던 것처럼 취급합니다. 이는 빨간색 정지 표지판을 식별하는 것과 같이 명확한 것들에는 아주 잘 작동합니다. 하지만 인간 스스로도 동의하지 못하는 상황에서는 이 방식이 무너집니다. 만약 인간이 까다로운 이미지를 보고 확신을 갖지 못하는데, 로봇이 "100% 고양이"라고 말하도록 강요받는다면, 로봇은 자신의 확신에 대해 거짓말을 하는 셈입니다. 이는 마치 일기 예보관이 비가 올 확률이 50%라는 것을 알면서도, 단순한 예보에 맞추기 위해 "반드시 비가 올 것이다"라고 고집하는 것과 같습니다.

이 논문은 머신러닝의 특정 분야인 **지도 분류(supervised classification)**를 깊이 있게 다룹니다. 간단히 말해, 이는 우리가 컴퓨터에게 레이블(label)이 붙은 예시들을 보여줌으로써 사물을 카테고리(예: '예의 바른' 텍스트 vs '무례한' 텍스트, 또는 '고양이' 사진 vs '강아지' 사진)로 분류하는 법을 가르치는 것을 의미합니다. 저자들이 던지는 핵심 질문은 이것입니다: 인간이 레이블에 대해 의견이 갈릴 때, 컴퓨터가 단 하나의 승자를 선택하도록 강요해야 할까요, 아니면 군중 전체의 불확실성으로부터 배우게 해야 할까요? 저자들은 단 하나의 정답을 강요하는 것이 세상이 실제로 작동하는 방식에 대한 귀중한 정보를 버리는 것이라고 주장합니다.

소프트 레이블(Soft Labels)의 사례: 군중의 목소리를 듣다

이 논문의 저자인 마이크로소프트의 아감딥 싱(Agamdeep Singh)과 동료들은 다른 접근 방식을 테스트하기로 했습니다. 인간의 의견 집합을 하나의 "하드 레이블"(예: 단일한 "고양이")로 축소하는 대신, 그들은 AI를 **전체 분포(full distribution)**를 사용하여 훈련시키는 방법을 시도했습니다. 그들은 이를 **소프트 레이블 훈련(soft-label training)**이라고 부릅니다.

이렇게 생각해 보세요:

• 하드 레이블 훈련은 까다로운 질문에 대해 학급 투표를 실시한 교사가, 60%의 학생은 "A"라고 생각하고 40%는 "B"라고 생각하는 것을 보고 칠판에 "A"라고 적는 것과 같습니다. 교사는 학생에게 "정답은 A다. 외워라"라고 말합니다. 학생은 학급의 의견이 갈렸음에도 불구하고 "A"에 대해 100% 확신하도록 배웁니다.
• 소프트 레이블 훈련은 교사가 칠판에 "우리 중 60%는 A라고 생각하고, 40%는 B라고 생각한다"라고 적는 것과 같습니다. 교사는 학생에게 "정답은 혼합된 것이다. A에 대해 60% 확신하고 B에 대해 40% 확신해라"라고 말합니다. 학생은 실제 교실의 혼란스러운 상황을 반영하는 법을 배웁니다.

이 논문은 세 가지 데이터셋을 통해 이 아이디어를 테스트했습니다: 텍스트 논리를 이해하기 위한 데이터셋(ChaosNLI), 텍텍스트의 예의를 판단하기 위한 데이터셋(POPQUORN), 그리고 사진 속 객체를 식별하기 위한 데이터셋(CIFAR-10H)입니다. 이 모든 경우에서 데이터는 인간이 무엇이 정답인지에 대해 진심으로 의견이 갈리는 지저져 있는 상태였습니다.

그들이 발견한 것: 불확실성은 버그가 아니라 특징이다

연구 결과는 놀라울 정도로 명확했습니다. 연구진이 "하드" 모델(단일 정답으로 학습된 모델)을 "소프트" 모델(전체 군중의 분포로 학습된 모델)과 비교했을 때, 소프트 모델이 인간의 불확실성을 이해하는 데 있어 중요한 거의 모든 측면에서 승리했습니다.

1. 인간의 혼란을 더 잘 모사합니다.
가장 중요한 척도는 컴퓨터의 추측이 실제 인간 투표의 분포와 얼마나 가까운가였습니다. 저자들은 이를 측정하기 위해 **KL 발산(KL divergence)**이라는 수학적 도구를 사용했습니다. 숫자가 낮을수록 컴퓨터가 실제 인간의 현실에 더 가깝다는 것을 의미합니다. 소프트 레이블 모델은 모든 데이터셋에서 이 오차를 평균 32% 감소시켰습니다. 쉬운 말로, 소프트 모델은 "나는 완전히 확신하지 못하며, 내가 어느 정도 확신이 없는지"를 훨씬 더 잘 말해주었으며, 이는 인간이 데이터에 대해 느꼈던 방식과 일치했습니다.

2. 정확도를 잃지 않습니다.
컴퓨터에게 불확실성을 가르치면 "정답"을 맞히는 능력이 떨어질 수 있다는 흔한 우려가 있습니다. 논문은 이것이 사실이 아님을 보여줍니다. 예의 관련 데이터셋(POPQUORN)과 이미지 데이터셋(CIFAR-10H)에서 소프트 레이블 모델은 하드 레이블 모델만큼 정확했습니다. 논리 데이터셋(ChaosNLI)에서는 소프트 레이블 모델이 오히려 더 정확했습니다 (55.30% 대 51.75%). 즉, 불확실성에 대해 정직해지는 것이 지능을 떨어뜨리는 것이 아니라 오히려 더 똑똑하게 만들었습니다.

3. 언제 불확실해야 하는지 압니다.
이것이 아마도 가장 멋진 발견일 것입니다. 연구진은 샘플 간에 컴퓨터의 "불확실성"(엔트로피로 측정됨)이 어떻게 변하는지 살펴보았습니다. 그들은 소프트 레이블 모델의 경우, 컴퓨터의 불확실성이 하드 레이벨 모델보다 인간의 불확실성을 61% 더 강력하게 추적한다는 것을 발견했습니다.

• 인간이 특정 사진에 대해 혼란스러워하면, 소프트 레이블 모델도 혼란스러워했습니다.
• 인간이 100% 확신하면, 소프트 레이블 모델도 100% 확신했습니다.
• 반면, 하드 레이블 모델은 인간의 의견이 갈릴 때조차도 지나치게 확신하거나 혹은 확신을 가지고 틀리는 경향이 있었습니다. 그들은 모호함을 "느끼지" 못했습니다.

이것이 왜 중요한가

이 논문은 모든 인간의 의견 차이를 단 하나의 "다수결"로 축소하는 기존의 방식이 실수라고 주장합니다. 그것은 인간의 의견 차이를 수정해야 할 "노이즈"나 오류로 취급합니다. 저자들은 전문가들이 의견이 갈릴 때, 그 의견 차이가 종종 진실을 반영한다고 제안합니다. 그것은 세상의 어떤 것들(예를 들어 농담이 예의 바른지, 혹은 흐릿한 동물이 고양이인지에 대한 문제)이 실제로 모호하다는 사실을 반영하기 때문입니다.

전체 답변 분포를 통해 훈련함으로써, 우리는 더 정직한 AI 시스템을 구축할 수 있습니다. 이 시스템들은 자신이 모르는 것을 아는 척하지 않습니다. 저자들은 이미지당 인간의 투표 수가 아주 많지 않더라도(최소 6~7개 정도만 있어도) 이 방식이 작동하며, 투표 수가 많을수록(예: 100개) 더욱 효과적이라고 언급합니다.

결국, 이 논문은 안전, 예의, 혹은 선호도와 같이 인간의 판단이 개입되는 모든 작업에 대해, AI에게 단 하나의 승자를 고르라고 강요하는 것을 멈춰야 한다고 제안합니다. 대신, 군중 전체로부터 배우도록 해야 합니다. 저자들이 말했듯, 신뢰할 수 있는 AI를 위해서는 자신이 무엇을 모르는지 아는 시스템이 필요합니다. 소프트 레이블 훈련은 바로 그것을 가르치는 방법입니다.