머신러닝의 숨겨진 악수 (The Hidden Handshake of Machine Learning)

당신이 로봇에게 고양이를 인식하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇에게 수천 장의 사진을 보여주고, 로봇은 자신의 내부 "두뇌" 설정을 조정하며 학습합니다. 컴퓨터 과학에서는 이를 **머신러닝(machine learning)**이라고 부릅니다. 하지만 여기서 까다로운 문제가 있습니다. 로봇이 실제로 똑똑해진 것인지, 아니면 단순히 당신이 보여준 특정 사진들을 암기한 것뿐인지 어떻게 알 수 있을까요? 보통 과학자들은 데이터를 두 덩어리로 나눕니다. 로봇을 가르치기 위한 "훈련(training)" 덩어리와, 로봇의 작업 결과물을 확인하기 위한 "테스트(test)" 덩어리입니다.

오랫동안 연구자들은 이 분할 과정을 마치 빨랫감을 "흰 옷"과 "어두운 색 옷"으로 분류하는 것처럼, 단순하고 지루한 행정적 단계로 취급해 왔습니다. 그들은 테스트 덩어리가 로봇의 실제 능력을 변화시키지 않고 그대로 반영하는 중립적인 거울이라고 가정했습니다. 그러나 새로운 사고방식은 우리가 데이터를 분류하는 방식이 사실 로봇의 두뇌를 형성하는 강력한 힘이라는 점을 시사합니다. 이 아이디어는 인과관계(무엇이 무엇을 일으키는지 알아내는 과학)라는 분야에서 왔습니다. 인과 추론은 단순히 일어나는 일을 관찰하는 대신, "만약 내가 다르게 행동했다면 무엇이 변했을까?"라고 묻습니다. AI의 맥나락에서 이는 "만약 내가 이 특정 사진을 '가르침' 덩어리에서 '테스트' 덩어리로 옮겼다면, 로봇의 두뇌가 변했을까? 그리고 최종 점수가 달라졌을까?"라고 묻는 것을 의미합니다.

이것이 바로 비카스 라마찬드라(Vikas Ramachandra)라는 연구자가 "훈련으로서의 처치(Training as Treatment)"라는 제목의 새 논문에서 다루는 질문입니다. 이 논문은 우리가 훈련 과정을 수동적인 루틴으로 취급하는 것을 멈추고, 이를 하나의 의료 실험처럼 취급해야 한다고 주장합니다. 의사가 환자에게 특정 약을 투여하여 질병이 치료되는지 확인하는 것처럼, 우리도 데이터를 기계에 입력하는 행위를 결과를 능동적으로 변화시키는 "처치(treatment)"로 보아야 합니다.

로봇의 공유된 두뇌

라마찬드라 논문의 핵심 아이디어는 단순하지만 혁명적입니다. 그것은 바로 로봇의 두뇌는 공유된 공간이라는 것입니다. 당신이 로봇에게 특정 사진 한 장으로 가르칠 때, 그 사진은 단순히 "훈련" 덩어리에 머물러 있는 것이 아니라, 로봇이 앞으로 보게 될 모든 다른 사진들에 대해 로봇의 두뇌를 변화시킵니다.

이것을 큰 시험을 준비하는 학생들의 교실이라고 생각해 보세요. 만약 한 학생(이름을 "데이터 포인트 A"라고 합시다)이 수학 문제를 푸는 영리한 기술을 배웠고, 선생님(알고리즘)이 그 기술을 사용하여 학급 전체를 돕는다면, 다른 모든 학생도 그 혜택을 입습니다. 하지만 만약 "데이터 포인트 A"가 잘못된 기술을 배운다면, 학급 전체가 혼란에 빠질 수 있습니다. 전통적인 머신러닝에서 우리는 종-종 시험을 치르는 학생(테스트 세트)이 공부를 한 학생들(훈련 세트)과 완전히 분리되어 있다고 가정합니다. 라마찬드라는 이것이 거짓말이라고 말합니다. 시험을 치르는 학생은 훈련생들에 의해 형성된 두뇌를 바탕으로 시험을 보고 있는 것입니다. 따라서 사진 한 장을 훈련 덩어리에서 테스트 덩어리로 옮기는 것은 단순히 파일을 옮기는 것이 아닙니다. 그것은 공부 그룹에서 학생 한 명을 빼내어 시험장에 앉히는 것과 같습니다. 이는 남은 학생들의 두뇌를 변화시킬 뿐만 아니라, 시험을 치르는 사람 자체를 바꿉니다.

"훈련으로서의 처치" 실험

라마찬드라는 **"훈련으로서의 처치(Training as Treatment)"**라는 새로운 프레임워크를 제안합니다. 모델을 한 번 실행하고 점수를 얻는 대신, 그는 각 데이터 조각이 정확히 무엇을 하는지 보기 위해 수천 번의 작은 실험을 수행해야 한다고 제о안합니다.

그는 데이터의 역할을 다음과 같이 구분합니다:

1. 피팅(Fitting): 로봇을 가르치는 데 사용되는 데이터.
2. 검증(Validation): 로봇의 설정(예: 얼마나 열심히 공부할지 결정하는 것)을 미세 조정하는 데 사용되는 데이터.
3. 평가(Evaluation): 최종 성적을 매기는 데 사용되는 데이터.
4. 감사(Audit): 로봇이 진정으로 공정하고 정확한지 확인하기 위해 사용되는, 손대지 않은 특별한 데이터 그룹. 로봇은 훈련 중에 이 데이터를 절대 보지 못합니다.

논문은 **간섭(interference)**이라는 개념을 도입합니다. 간단히 말해, 이는 한 데이터 포인트에서 일어나는 일이 다른 모든 데이터 포인트에 영향을 미친다는 것을 의미합니다. 특정 사진을 훈련 세트에 포함하면, 로봇이 고양이를 더 잘 인식하게 만들 수도 있고(긍정적 파급 효과), 혹은 로-봇을 혼란스럽게 만들어 개를 인식하는 능력을 떨어뜨릴 수도 있습니다(부정적 파급 효과).

이를 측정하기 위해 저자는 몇 가지 영리한 실험 방법을 제안합니다:

• 무작위 포함(The Randomized Inclusion): 당신의 컬렉션에 있는 모든 사진에 대해 동전 던지기를 한다고 상상해 보세요. 앞면이 나오면 로봇은 그 사진을 공부하고, 뒷면이 나오면 로봇은 그 사진을 무시합니다. 이를 수천 번 반복함으로써, 당신은 그 사진 한 장이 로봇의 최종 점수에 얼마나 도움이 되거나 해가 되는지 정확히 알 수 있습니다.
• 쌍을 이룬 교체(The Paired Swap): 사진 A와 사진 B가 있다고 상상해 보세요. 로봇을 A로 훈련시키되 B로는 훈련시키지 않고, 그다음에는 둘을 바꿔서 B로 훈련시키되 A로는 훈련시키지 않습니다. 이 결과를 비교함으로써, 어떤 사진이 실제로 더 가치 있는지 알 수 있습니다.

실험 결과는 무엇을 보여주었나

이 논문은 이론만을 이야기하지 않습니다. 연구진은 이러한 아이디어를 테스트하기 위해 실제 데이터셋(유방암 의료 기록 및 와인 품질 등)을 사용했고, 알려진 문제점(잘못된 레이블이나 숨겨진 트릭 등)이 있는 가짜 데이터셋을 만들었습니다.

연구 결과는 다음과 같습니다:

1. "분할"은 속임수다
가장 놀라운 발견은 데이터를 나누는 방식(분할 정책)이 로봇의 두뇌가 정확히 동일하더라도 로봇의 점수를 바꾸는 마법의 스위치처럼 작동한다는 것입니다.

• 시뮬레이션 결과, 단순히 데이터를 나누는 방식을 바꾸는 것만으로도 로봇의 정확도 점수(AUC)가 최대 0.257까지 급등하거나 급락했습니다.
• 예를 들어, 노이즈(지저분한 데이터)가 있는 시뮬레이션에서 "클러스터 홀드아웃(cluster holdout)" 분할(유사한 항목들을 함께 묶는 방식)을 사용했을 때, 로봇은 일반적인 무작위 분할을 사용했을 때보다 훨씬 더 형편없는 성능을 보였습니다. 이는 "테스트 점수"가 단순히 로봇이 얼마나 똑똑한지를 나타내는 척도가 아니라, 테스트가 어떻게 설계되었는지에 대한 척도이기도 하다는 것을 증명합니다.

2. 모든 데이터가 평등한 것은 아니다
실험 결과, 어떤 사진들은 로봇에 의해 "암기"되지만 실제로 학습에는 도움이 되지 않는다는 것이 밝혀졌습니다.

• 특정 훈련 사진을 제거했을 때 오히려 로봇의 다른 사진에 대한 성능이 향상되는 것을 발견했습니다. 이는 해당 사진들이 해롭거나 불필요하다는 것을 의미합니다.
• 반대로, 어떤 사진들을 제거하면 로봇의 성능이 떨어졌는데, 이는 그 사진들이 도움이 된다는 것을 입증합니다.
• 논문은 사진이 "암기"될 수는 있지만(로봇이 완벽하게 기억함), 새로운 상황에 적용하는 능력(일반화 능력)에는 여전히 "해로울" 수 있다고 제안합니다.

3. 알고리즘은 편식한다
연구진은 두 가지 유형의 로봇 두뇌를 테스트했습니다: "로지스틱 회귀(Logistic Regression)"(단순한 직선형 사고)와 "랜덤 포레스트(Random Forest)"(복잡한 나뭇가지형 사고).

• 그들은 "최고의" 로봇은 전적으로 상황에 달려 있다는 것을 발견했습니다. 깨끗하고 단순한 시뮬레이션에서는 랜덤 포레스트가 훨씬 더 좋았습니다. 하지만 실제 유방암 데이터셋에서는 더 단순한 로지스틱 회귀가 더 좋거나 비슷하게 좋은 성능을 보였습니다.
• 이는 단순히 "알고리즘 X가 최고다"라고 말할 수 없음을 의미합니다. 대신 "알고м즘 X는 이 특정 유형의 데이터와 이 특정 분할 방식에 가장 적합하다"라고 말해야 합니다.

4. "감사(Audit)"는 진실을 말한다
논문은 "감사" 세트, 즉 로봇이 마지막 순간까지 결코 보지 못하는 데이터 그룹의 필요성을 강조합니다.

• 만약 테스트 데이터를 사용하여 설정(예: 로봇의 학습 난이도 조절)을 미세 조정한다면, 높은 점수를 얻더라도 그것은 가짜일 수 있다는 것을 발견했습니다.
• 별도의 "감사" 그룹을 유지함으로써, 어떤 분할 정책은 테스트에서는 훌륭한 성적을 내게 만들지만 실제 감사 데이터에서는 형편없는 성능을 보이게 만든다는 것을 확인할 수 있었습니다. 이는 로봇이 알면 안 되는 테스트 데이터를 통해 의도치 않게 학습하는 "누수(leakage)" 현상을 잡아내는 데 도움이 됩니다.

큰 그림

라마찬드라의 논문은 머신러닝을 데이터가 들어가서 점수가 나오는 일방통행로로 보는 것을 멈춰야 한다고 제안합니다. 대신, 모든 데이터가 서로에게 영향을 미치는 복잡한 상호작용의 그물망으로 보아야 합니다.

핵론은 **우리가 AI를 훈련하고 테스트하는 방식 자체가 하나의 인과적 개입(causal intervention)**이라는 것입니다. 그것은 단순한 측정 도구가 아니라, 결과를 형성하는 능동적인 실험의 일부입니다. 훈련을 "처치"로 취급하고 이러한 새로운 실험적 방법들을 사용함으로써, 우리는 마침내 다음과 같은 질문에 답할 수 있습니다. "이 특정 사진이 실제로 AI를 돕고 있는가, 아니면 단지 암기하고 있는 것인가?" 그리고 "이 높은 점수는 진짜인가, 아니면 단지 데이터를 나누는 방식 덕분에 운이 좋았던 것뿐인가?"

이 논문은 AI의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 이러한 실험을 수행하는 것이 비용이 많이 들고 계산 집약적이라는 점을 인정합니다. 하지만 이 논문은 머신러닝의 복잡한 현실을 항해할 수 있는 새로운 지도와 도구를 제공하며, 진정으로 학습한 로봇과 단지 운이 좋았던 로봇을 구별할 수 있도록 도와줍니다.