당신이 미스터리를 해결하려는 탐정이라고 상상해 보십시오. 하지만 당신에게는 엄격한 규칙이 하나 있습니다. 인터뷰하는 사람에게 딱 세 가지 질문만 할 수 있다는 것입니다. 만약 당신이 십 대 그룹, 은퇴자 그룹, 그리고 직장인 그룹을 인터뷰한다면, 십 대들에게 잘 통하는 세 가지 질문은 은퇴자들에게는 전혀 말이 되지 않을 수도 있습니다. 이것이 바로 머신러닝의 일상적인 고충입니다. 머신러닝은 컴퓨터가 데이터 속에서 패턴을 찾아내어 예측을 수행하는 과학의 한 분야입니다. 보통 이러한 컴퓨터 프로그램들은 모든 사람이 뒤섞인 거대한 데이터 더미를 통해 학습됩니다. 하지만 현실 세계에서 사람들은 모두 같지 않습니다. "평균적인" 사람들을 대상으로 학습된 모델은 대다수에게는 훌륭하게 작동할 수 있지만, 소수나 다른 집단에게는 처참하게 실패할 수 있습니다. 마치 대부분의 운전자에게는 명확한 도로를 보여주지만, 몇몇 운전자는 늪으로 인도하는 지도와 같습니다. 문제는, 모든 사람이 서로 다름에도 불구하고, 어떻게 하면 각 집단마다 별도의 비싼 설문지를 만들 필요 없이 모두에게 잘 작동하는 단 하나의 제한된 질문 세트(또는 "특징(features)")를 선택할 수 있는가 하는 것입니다.

이것이 바로 카네기 멜론 대학교의 연구진이 발표한 "일반화된 복지 최적화를 통한 인구 통계학적 강건성을 갖춘 특징 선택(Population-Robust Feature Selection via Generalized Welfare Optimization)"이라는 새로운 논문에서 다루는 퍼즐입니다. 연구진은 PopFS라는 영리한 새로운 방법을 소개합니다. PopFS를 방대한 백과사전을 편집하는 매우 똑똑하고 공정한 편집자라고 생각해 보십시오. 보통 편집자들은 가장 인기 있는 주제를 포함시키려 하며, 이는 대다수에게는 훌륭한 책을 만들지만 틈새 독자들에게는 중요한 세부 사항을 빠뜨리게 만듭니다. 그러나 PopFS는 특별한 "공정성 다이얼"(복지 목적 함수라고 불리는 것)을 사용하여, 편집자가 가장 혜택을 받지 못하는 집단의 요구를 얼마나 우선시할지 결정할 수 있게 해줍니다. 다이얼을 높이면, 편집자는 기존의 방식보다 더 나은 예측을 제공받지 못하던 집단들조차 공정한 기회를 가질 수 있도록 보장하면서도, 다른 모든 사람을 위한 책의 질을 망치지 않도록 합니다.

연구진은 PopFS가 게임 체인저라는 것을 발견했습니다. 하나의 완벽한 모델을 찾는 것(이는 종종 불가능합니다)이나 평균적으로 가장 잘 작동하는 특징을 선택하는 대신, PopFS는 각 집단이 자신만의 맞춤형 "답안지"를 만들 수 있도록 하는 하나의 공유된 "질문" 세트를 선택합니다. 8개의 서로 다른 집단을 대상으로 6가지 실제 과업(소득 예측부터 혈중 납 농도 추적까지)에서 실시한 테스트에서, PopFS는 기존의 방법들을 지속적으로 능가했습니다. PopFS는 단순히 평균적인 경우를 돕는 데 그치지 않고, 가장 열악한 상황에 처한 집단의 성능을 기존 방식 대비 최대 22%까지 끌어올렸습니다.

아마도 가장 흥s로운 부분은 이 방법의 유연성일 것입니다. 43개 주의 COVID-19 증상을 추적하는 사례 연구에서, 연구진은 단순히 "공정성 다이얼"을 조절함으로써 가장 어려움을 겪고 있는 주들의 예측력을 거의 40%까지 향상시킬 수 있었으며, 이미 잘 작동하고 있던 주들의 성능 저하는 거의 없음을 보여주었습니다. 이는 마치 스피커 바로 옆에 앉아 있는 사람의 음악을 악화시키지 않으면서도, 방 구석 멀리 있는 청취자의 잡음을 제거하기 위해 라디오 주파수를 맞추는 것과 같습니다. 또한 이 방법은 매우 빨라서, 수천 개의 가능한 질문을 15분 이내에 분류해 내며, 실생활에서 사용하기에 매우 실용적입니다.

문제점: 하나로 모두를 만족시킬 수는 없다

당신이 환자를 진단해야 하는 의사라고 상상해 보십시오. 하지만 당신에게는 아주 작은, 고정된 증상 체크리스트만이 있습니다. 당신은 전국 각지에서 온 환자들을 마주합니다. 젊고 건강한 사람도 있고, 만성 질환이 있는 노인도 있으며, 서로 다른 환경적 위험 요소가 있는 지역에 사는 사람들도 있습니다. 만약 당신이 "평균적인" 환자에게 가장 잘 맞는 세 가지 증상을 고른다면, 노인이나 어린 환자들에게 결정적인 징후를 놓칠 수도 있습니다.

이것이 바로 **특징 선택(feature selection)**의 핵심 문제입니다. 머신러닝에서 "특징(features)"이란 컴퓨터에 입력하는 데이터 포인트나 질문(예: "나이", "소득", 또는 "열이 있는가?")을 의미합니다. 보통 과학자들은 컴퓨터가 가장 많은 사람에게 똑똑하게 작동하도록 특징을 선택합니다. 하지만 이는 작거나 다른 집단을 뒤처지게 만듭니다.

이전의 일부 방법들은 하나의 거대하고 초강력한 모델을 구축하여 모든 사람에게 작동하도록 시도했습니다. 하지만 그것은 젖병을 쓰는 아기, 농구 선수, 그리고 할머니 모두에게 완벽하게 맞는 신발 한 켤레를 만들려는 것과 같으며, 거의 불가능에 가깝습니다. 다른 방법들은 각 집단마다 별도의 모델을 구축하려고 했지만, 이는 각 집단마다 별도의 비싼 체크리스트를 필요로 하므로, 제한된 공유 자원을 사용한다는 본래의 목적에 어긋납니다.

해결책: PopFS와 공정성 다이얼

이 논문의 저자인 루이키 류(Ruiqi Lyu), 알리스터 터칸(Alistair Turcan), 브라이언 와이더(Bryan Wilder)는 절충안을 제안합니다. 그들은 하나의 공유된 특징 체크리스트를 모두가 사용하게 하되, 각 집단이 그 체크리스트를 바탕으로 자신만의 맞춤형 모델(자신만의 "답안지")을 구축할 수 있게 하고자 합니다.

이를 위해 그들은 PopFS를 발명했습니다. 작동 방식은 다음과 같습니다.

1. 선생님과 학생들: 세상의 모든 정보에 접근할 수 있는 마스터 선생님(the "Teacher")이 있다고 상상해 보십시오. 이 선생님은 모든 학생에 대한 완벽한 정답을 알고 있습니다. PopFS는 먼저 이 선생님에게 모든 데이터를 살펴보고 각 집단에 대한 "완벽한" 예측이 무엇인지 파악하도록 요청합니다.
2. 압축 테스트: 이제 연구진은 다음과 같이 묻습니다. "만약 우리가 학생들에게 아주 작은 공유 리스트인 $k$개의 질문(특징)만을 준다면, 학생들이 선생님의 답을 맞출 수 있을까?" 그들은 어떤 질문 리스트가 학생들이 선생님의 지혜에 가장 가깝게 도달할 수 있게 하는지 테스트합니다.
3. 공정성 다이얼 (복지 목적 함수): 이것이 마법 같은 부분입니다. 연구진은 단순히 가장 높은 평균 점수를 얻는 리스트를 고르는 것이 공정하지 않다는 것을 깨달았습니다. 그래서 그들은 복지 파라미터(그리스 문자 알파, $\alpha$로 표현됨)라고 불리는 조절 가능한 다이얼을 추가했습니다.
   • 다이얼을 1로 설정하면, 시스템은 결합된 모든 사람의 총점(평균)을 가장 중요하게 생각합니다.
   • 다이얼을 0 또는 심지어 -1로 낮추면, 시스템은 현재 가장 낮은 점수를 받고 있는 학생들에게 훨씬 더 많은 관심을 기울이기 시작합니다. 이는 상위 성적을 내는 집단이 약간의 도움을 덜 받더라도, 고전하고 있는 집단에 도움이 되는 질문을 선택하도록 강제합니다.

어떻게 빠르게 만들었는가

수천 개의 가능한 질문이 있다면, 이를 수십 개의 집단에 대해 테스트하는 데 시간이 엄청나게 걸릴 것이라고 생각할 수 있습니다. 실제로 그렇습니다. 가능한 모든 질문의 조합을 테스트하는 것은 수천 페이지에 달하는 레시피 북에서 가능한 모든 재료의 조합을 테스트하는 것과 같으며, 평생이 걸릴 수도 있습니다.

PopFS는 이 문제를 해결하기 위해 영리한 2단계 트릭을 사용합니다.

1. 대형 스크린: 먼저, 수천 개의 특징을 빠르게 스캔하여 명백히 쓸모없는 것들을 버리고, 가장 유망한 후보들만 남긴 "단축 리스트"를 만듭니다. 이는 노래를 전혀 못 하는 사람들을 빠르게 탈락시켜서, 전 세계의 모든 사람을 일일이 듣지 않아도 되게 만드는 오디션 프로그램의 심사위원과 같습니다.
2. 스마트 스왑(Smart Swap): 그다음, 모든 조합을 테스트하는 대신, 좋은 리스트에서 시작하여 한 번에 하나씩 질문을 교체(swap)해 봅니다. 어떤 교체가 가장 잘 작동할지 예측하기 위해 빠른 "추측 게임"(서로게이트(surrogate)라고 불리는 수학적 지름길)을 사용합니다. 오직 가장 유망한 후보들에 대해서만 전체의 느리고 비용이 많이 드는 테스트를 수행합니다. 이를 통해 수천 개의 옵션이 있더라도 15분 이내에 완벽한 리스트를 찾아낼 수 있습니다.

연구 결과

연구진은 다음과 같은 실제 데이터를 사용하여 PopFS를 테스트했습니다.

• 소득 예측 (ACS 및 UCI Adult 데이터셋 사용)
• 건강 위험 (NHANES의 아동 및 성인 혈중 납 농도, HELOC의 신용 위험)
• COVID-19 추적 (증상 검색을 기반으로 한 43개 주별 병원 입원 예측)

거의 모든 테스트에서 PopFS는 다른 방법들을 압도했습니다.

• 모두를 위한 개선: 모든 집단의 평균 성능을 향상시켰습니다.
• 어려운 이들을 위한 개선: 가장 중요한 점은, 기존 방식보다 가장 열악한 상황에 처한 집단의 성능을 크게 높였다는 것입니다. 일부 사례에서는 기존 방식 대비 "최악의 상황에 처한" 집단의 성능을 최대 **22%**까지 개선했습니다.
• COVID-19 사례 연구: 이 방법을 43개 주의 COVID-19 입원 예측에 적용했을 때, 연구진은 흥미로운 사실을 발견했습니다. 가장 고전하고 있는 주들을 우선시하도록 공정성 다이얼을 조절함으로써, 해당 주들의 예측 정확도를 약 40% 향상시켰으며, 동시에 모든 주의 평균 정확도는 거의 변하지 않았습니다.

또한 그들은 PopFS가 선택한 특징들이 다이얼에 따라 변한다는 점을 발견했습니다. 어려움을 겪는 주들을 우선시했을 때, 시스템은 단순히 가장 흔한 증상을 선택하는 대신, 해당 지역에 더 적합한 특정 증상(예: 열이 발생하는 특정 타이밍이나 미각 상실 등)을 선택하기 시작했습니다. 이는 이 방법이 단순히 가장 인기 있는 도구를 고르는 것이 아니라, 적재적소에 맞는 도구를 실제로 찾아내고 있음을 시사합니다.

이것이 왜 중요한가

이 논문은 세상의 모든 문제를 해결했다고 주장하는 것이 아닙니다. 저자들은 이 방법이 초기 "선생님" 모델의 품질에 의존하며, 수학적으로 완벽한 답을 매번 찾는 것이 아니라 스마트한 지름길(휴리스틱)을 사용한다는 점을 분명히 하고 있습니다. 그러나 결과는 다양한 유형의 데이터에 걸쳐 강력하고 일관적입니다.

핵심적인 교훈은 "다수를 위한 선"과 "모두를 위한 공정함" 사이에서 하나를 선택할 필요가 없다는 것입니다. PopFS를 통해 우리는 모두에게 잘 작동하면서도 누구나 배포할 수 있는 질문 세트를 가질 수 있으며, 전체 시스템의 질을 희생하지 않으면서도 가장 도움이 필요한 사람들에게 그 도움을 줄 수 있도록 조정할 수 있습니다. 이는 머신러닝을 단순히 똑똑하게 만드는 것을 넘어, 다양하고 복잡한 현실 세계에 맞춰 공정하고 적응 가능하게 만드는 단계로 나아가는 길입니다.