The Role of Pseudo-labels in Self-training Linear Classifiers on High-dimensional Gaussian Mixture Data

당신이 로봇에게 고양이와 개를 구별하는 법을 가르치려 한다고 상상해 보십시오. 당신은 '고양이' 또는 '개'라고 라벨이 붙은 몇 백 장의 사진을 가지고 있지만, 인터넷에는 라벨이 없는 수백만 장의 사진들이 떠돌아다니고 있습니다. 몇 백 장의 라벨링된 사진만으로 로봇을 가르치는 것은 느리고 비용이 많이 듭니다. 라벨이 없는 수백만 장의 사진을 사용하는 것은 쉽지만, 그중 무엇이 무엇인지 알 수 없습니다. 이것이 바로 **준지도 학습(Semi-Supervised Learning)**의 세계입니다. 약간의 알려진 진실과 많은 미지의 데이터를 섞어 더 빠르게 학습하는 최적의 지점이죠.

이 세계에서 인기 있는 기술 중 하나는 **자기 학습(Self-Training)**이라 불립니다. 이것은 마치 교과서를 공부한 뒤, 새로운 문제로 연습 시험을 치르고, 나서 자신의 답이 정답인 것처럼 가정하고 다음 라운드를 위해 다시 공부하는 학생과 같습니다. 로봇은 라벨이 없는 사진들에 대한 예측값을 내놓고, 그 예측을 진실로 간격하며 스스로를 재학습시킵니다. 과학자들이 항상 던져온 큰 질문은 이것입니다: "만약 로봇이 자신의 예측에서 실수를 한다면, 왜 이 과정이 로봇을 더 멍청하게 만드는 대신 더 똑똑하게 만드는가?" 이는 역설처럼 보입니다. 어떻게 자신의 오류로부터 배우는 것이 발전에 도움이 될 수 있을까요?

이 논문은 수학적 현미경을 사용하여 이 역설을 깊이 파고듭니다. 다카하시 다카시(Takashi Takahashi)가 이끄는 저자들은 이 학습 과정을 수학적으로 모델링하여, 반복되는 동안 로봇의 "두뇌"(수학적 가중치) 내부에서 정확히 어떤 일이 일치하는지 관찰하기 위해 단순화된 수학적 모델을 구축했습니다. 그들은 단순히 컴퓨터 시뮬레이션을 실행한 것이 아니라, 물리학의 강력한 기법인 **레플리카 방법(Replica Method)**을 사용하여 데이터가 무한히 커질 때 로봇의 행동을 예측하는 정밀한 공식을 도출했습니다. 그들의 연구 결과는 자기 학습이 단 하나로 정의되는 것이 아니라, 얼마나 여러 번 재학습을 허용하느냐에 따라 그 성격이 변한다는 것을 보여줍니다.

자기 학습의 두 가지 성격

저자들은 자기 학습이 멈추는 시점이 빠른지 혹은 오래 지속되는지에 따라 완전히 다른 두 가지 방식으로 작동한다는 것을 발견했습니다.

1. "자신감 넘치는 초보자" (적은 반복 횟수)
로봇을 몇 번만 재학습하게 하면, 로봇은 자신이 확신하는 질문에만 주의를 기울이는 자신감 넘치는 학생처럼 행동합니다. 논문의 언어로 표현하자면, 이는 로봇이 하드 라벨(hard labels)(단순한 "예" 또는 "아니오")을 사용하고 확신이 없는 데이터는 걸러내는 경우입니다.

• 무슨 일이 일어나는가: 로봇은 학습 과정에서 큰 도약을 합니다. 로봇은 "신뢰할 수 있는" 의사 라벨(자신이 확신하는 예측값)을 붙잡고 뇌를 크게 업데이트합니다.
• 비유: 안개 낀 숲속의 등산객을 상상해 보세요. 만약 그들이 몇 걸음만 걷는다면, 땅이 단단하다고 100% 확신할 때만 움직일 것입니다. 그들은 목적지를 향해 크고 대담한 발걸음을 내딛습니다. 이는 숲이 너무 혼란스럽지 않다면 잘 작동하겠지만, 만약 지도(데이터 불균형)가 왜곡되어 있다면 길을 잃고 멈춰버릴 수도 있습니다.

2. "인내하는 축적자" (많은 반복 횟수)
로봇을 수백 번 재학습하게 하면 그 성격이 바뀝니다. 로봇은 더 이상 크고 대담한 예측을 하지 않고, 아주 작고 거의 보이지 않는 조정을 시작합니다.

• 무슨 일이 일어나는가: 로봇은 소프트 라벨(soft labels)("예/아니오"가 아닌 "60% 예, 40% 아니오"와 같은 예측)을 사용하며 매우 부드러운 수학(작은 정규화)을 사용합니다. 로봇은 매 단계마다 미세한 양만큼 뇌를 업데이트합니다.
• 비유: 이제 앞서 말한 동일한 등산객을 상상해 보세요, 하지만 이번에는 며칠 동안 걷고 있습니다. 그는 모든 발걸음에 대해 완벽하게 확신하는 것을 걱정하지 않습니다. 대신, 그는 아주 미세하고 거의 소음이 없는 발걸음을 내디디며, 아주 작은 흔적을 바탕으로 끊임없이 경로를 수정합니다. 논문은 이 단계들이 매우 작기 때문에 "노이즈"(오류)가 상쇄되고, 로봇이 마치 정전기 없는 비밀 메시지를 읽는 것처럼 데이터로부터 순수한 정보를 추출할 수 있다고 제안합니다.

불균형의 문제

하지만 함정이 있습니다. 논문은 이 "인내하는 축적자" 전략이 데이터가 균형 잡혀 있을 때(고양이와 개의 수가 같을 때)는 훌륭하게 작동한다는 것을 발견했습니다. 하지만 데이터가 불균형하다면(예: 고양이 90%, 개 10%), 로봇은 혼란에 빠집니다.

로봇이 결국 데이터의 방향은 파악할지라도(어느 쪽이 고양이인지 개인지 알게 되더라도), 내부 설정의 균형은 망가뜨리게 됩니다. 구체적으로, 결정의 "가중치"가 "편향(bias, 기본 예측값)"에 비해 매우 작아집니다. 이는 마치 어느 쪽이 더 무거운지는 알지만 스프링이 고장 난 저울과 같아서, 실제 무게를 알려주지 못하는 것과 같습니다. 그 결과는 어떠할까요? 로봇은 수백 번의 반복 후에도 원래의 라벨링된 데이터만 사용했을 때보다 오히려 성능이 떨어지게 됩니다.

해결책: 두 가지 간단한 휴리스틱

불균형한 상황에서 이 고장 난 저울을 고치기 위해, 저자들은 자신들의 수학적 공식을 사용하여 테스트한 두 가지 영리한 트릭(휴리스틱)을 제안했습니다.

1. 의사 라벨 어닐링 (Pseudo-Label Annealing): 이것은 마치 서서히 열을 올리는 것과 같습니다. 초기에는 로봇이 부드럽고 완만한 예측을 사용합니다. 경험이 쌓임에 따라(반복 횟수가 늘어남에 따라), 로봇은 자신의 예측이 점점 더 단호하고 결정적( "예" 또는 "아니오"에 가깝게)이 되도록 점진적으로 강제합니다. 이는 로봇이 중간에 갇히지 않고 올바른 방향을 고정하는 데 도움을 줍니다.
2. 편향 수정 (Bias-Fixing): 이것은 "기본값을 바꾸지 마라"는 규칙입니다. 로봇은 처음 몇 개의 라벨링된 사진을 바탕으로 한 초기 "편향(bias)"을 전체 과정 동안 똑같이 유지하도록 지시받습니다. 로봇은 데이터의 방향을 배우는 뇌의 부분만을 업데이트하고, 균형은 건드리지 않은 채로 둡니다.

저자들이 이 두 가지 트릭을 결합했을 때, 로봇의 성능은 급격히 상승했습니다. 심각한 라벨 불균형(예: 고양이 20%, 개 80%) 상황에서도, 자기 학습을 거친 로봇은 전체 데이터셋에 대해 완벽하게 인간이 주석을 달았던 로봇과 거의 대등한 성능을 보였습니다.

핵심 요약

이 논문은 자기 학습이 형태를 바꾸는 존재(shape-shifter)임을 시사합니다. 시간이 짧다면, 쉽고 자신감 있는 승리를 챙기는 데 사용하십시오. 시간이 충분하다면, 데이터의 진정한 구조를 드러내는 아주 작고 노이즈 없는 수정을 하는 데 사용하십시오. 그러나 데이터가 불균형하다면 주의해야 합니다. 적절한 안전장치(편향을 고정하는 것과 같은)가 없다면, 로봇은 방향은 완벽하게 배울지 몰라도 규모에 대한 감각을 잃어버려 결국 시험에서 낙제할 수 있습니다.

저자들은 단순히 추측한 것이 아니라, "거대 시스템 한계(large system limit, 데이터가 방대한 경우)"를 설명하는 복잡한 수학을 사용하여 이를 도출했습니다. 그들은 컴퓨터 시뮬레이션으로 자신들의 공식을 검증했으며, 수치는 완벽하게 일치했습니다. 비록 자율주행 자동차 등에 사용되는 실제 딥러닝 모델에 대해서는 테스트하지 않았지만, 그들의 연구 결과는 자기 학습이 왜 작동하는지, 그리고 데이터가 엉망일 때 어떻게 더 잘 작동하게 만들 수 있는지에 대한 견고한 이론적 토대를 제공합니다.