A multi-objective evolutionary approach to neural architecture search for clinical tabular classification: balancing predictive performance and model compactness

당신은 심장병을 진단하거나 종양을 찾아내는 완벽한 로봇 요리사를 만들려고 한다고 상상해 보십시오. 당신은 이 요리사가 매우 똑똑하면서도(높은 정확도), 주머니에 들어갈 정도로 작기를(낮은 복잡도) 원합니다. 보통 사람들이 이런 AI 요리사를 만들 때는, "클수록 좋다"는 생각에 재료와 도구를 계속해서 더 많이 추가하곤 합니다. 하지만 이 논문은 그것이 나쁜 생각이라고 주장합니다. 모델을 너무 크게 만드는 것은 마치 가방 안에 흥미로운 책들을 너무 많이 집어넣어서, 책은 재미있을지언가 가방이 너무 무거워져서 들고 다니기 힘들게 만드는 것과 같다고 말합니다. 그 결과는? 스스로의 발에 걸려 넘어지고 실제 기기에서 제대로 작동하지 못하는 서투른 로봇이 되는 것입니다.

저자인 Ivan, Menhai, Safa는 다른 접근 방식을 시도하기로 했습니다. 단순히 추측하거나 모델을 키우는 대신, 그들은 MOGA-NAS라고 불리는 디지털 "진화적 게임"을 만들었습니다. 이것을 컴퓨터 뇌를 위한 '적자생존'의 콘테스트라고 생각하십시오.

게임의 규칙: 두 가지 목표를 동시에
대부분의 게임에서는 높은 점수를 얻는 데만 집중합니다. 하지만 이 게임에서 플레이어들은 두 가지 목표를 동시에 조율해야 합니다:

1. 똑똑할 것: 의료 테스트에서 가능한 높은 점수(F1-score라고 불리는 지표)를 얻어야 합니다.
2. 작을 것: 가능한 적은 "부품"(파라미터)을 사용해야 합니다.

이 논문은 단 하나의 목표(예를 들어, 단지 똑똑해지는 것)만을 최적화하려고 하면 비대하고 비효으로적인 모델이 만들어진다고 주장합니다. 대신, 그들은 NSGA-II라는 특별한 심판 시스템을 사용했습니다. 이 심판은 단순히 한 명의 승자를 뽑는 것이 아니라, 전체 "파레토 프런트(Pareto front)"를 찾아냅니다. 이것을 메뉴라고 상상해 보십시오. 당신은 매우 똑똑하지만 약간 무거운 모델을 선택할 수도 있고, 혹은 약간 덜 똑똑하지만 주머니에 쏙 들어가는 모델을 선택할 수도 있습니다. 목표는 의사들에게 특정 하드웨어에 맞는 것을 고를 수 있도록 '메뉴'를 제공하는 것입니다.

비밀 무기들
이 진화가 성공하기 위해, 팀은 세 가지 멋진 기술을 발명했습니다:

• "뉴런-투-서브네트워크(Neuron-to-Subnetwork)" 변이: 당신의 로봇 안에 있는 단 하나의 레고 블록이 갑자기 자체적인 기어를 가진 작은 독립형 기계로 성장한다고 상상해 보십시오. 이를 통해 로봇은 전체를 키우는 대신, 필요한 곳에만 복잡성을 추가할 수 있습니다.
• "중요도 가이드(Importance Guide)": 로봇의 어느 부분을 바꿀지 무작위로 고르는 대신, 시스템은 어떤 부분이 실제로 핵심적인 역할을 하고 있는지 확인합니다. 이는 마치 코치가 선수에게 "신발을 바꾸지 말고, 달리기 자세를 바꿔라"라고 말하는 것과 같습니다. 신발은 문제가 아니기 때문입니다.
• "8비트 코드": 그들은 로봇의 설계를 매우 압축된 방식으로 작성했습니다(마치 긴 에세이 대신 짧은 코드를 사용하는 것처럼). 논문은 이것이 "정규화 도구(regularizer)" 역할을 한다고 제안하는데, 이는 로봇이 교훈을 배우는 대신 시험 답안을 암기하는 것을 방지하여 단순함을 유지하도록 강제하는 세련된 방식입니다.

결과: 작지만 강력함
팀은 심장병 기록부터 유방암 데이터에 이르는 다섯 가지 서로 다른 의료 데이터셋을 대상으로 이 방법을 테스트했습니다. 결과가 단지 운이 아니라는 것을 확실히 하기 위해, 그들은 세 가지 서로 다른 무작위 시작점과 다섯 가지 데이터 분할을 사용하여 실험을 15번 수행했습니다.

그들이 발견한 사실은 다음과 같습니다:

• 성능: 다섯 가지 데이터셋 중 네 가지에서 그들의 진화된 로봇이 가장 높은 평균 점수를 기록했습니다. 다섯 번째 데이터셋(Wisconsin Breast Cancer)에서는 기존의 가장 좋은 방법인 서포트 벡터 머신(SVM)과 동점을 기록했습니다. 논문은 이 특정 데이터셋에서 차이가 너무 미미하여 통계적으로 구별할 수 없는 수준이었다고 명시합니다.
• 크기: 이것이 가장 큰 승리입니다. 그들이 찾아낸 모델은 매우 작았습니다—단 약 100에서 480개의 파라미터만을 포함하고 있었습니다. 수천 개를 사용하는 다른 방법들과 비교해 보십시오. 논문은 이것이 "1~2 자릿수(orders of magnitude) 더 작다"고 언급합니다.
• 신뢰성: 그들이 수학적 검증(paired Wilcoxon signed-rank test라고 불리는 통계 테스트)을 수행했을 때, 그들의 방법이 다른 방법들보다 통계적으로 더 우수하다는 결과가 65번의 비교 중 61번 나타났습니다.

그들이 명시적으로 제외하는 것들
이 논문은 이 방법이 무엇이 아닌지를 매우 주의 깊게 밝히고 있습니다.

• 이것은 모든 것을 해결하는 마법의 탄환이 아닙니다. 저자들은 자신들이 순수한 힘의 측면에서 "새로운 최첨단 기술(state of the art)"을 주장하는 것이 아님을 명시적으로 밝힙니다. 일부 데이터셋에서는 개선 정도가 "통계적 동률"이었지, 압도적인 승리가 아니었습니다.
• 이것은 공짜가 아닙니다. 논문은 최종 로봇은 작고 빠르지만, 그것을 만드는 과정(탐색)에는 시간이 걸린다고 주장합니다. 표준 컴퓨터 기준으로 "폴드당 몇 분 정도"의 시간이 소요되며, 이는 "1초도 채 걸리지 않는" 간단한 모델을 훈련하는 것보다 훨씬 느립니다. 만약 당신이 서두르고 있고 진화가 끝나기를 기다릴 수 없다면, 단순하게 미리 조정된 모델이 여전히 더 나은 선택일 수 있습니다.
• 이것은 거대한 데이터셋에 대해 증명되지 않았습니다. 논문은 이 방법의 범위를 "소규모에서 중규모" 데이터셋(가장 큰 것은 약 1,151개의 사례)으로 명시적으로 제한합니다. 그들은 이 방법이 수백만 개의 기록이 있는 대규모 데이터에서도 작동할지는 아직 모른다고 인정합니다.

결론
이 논문은 다목적 진화 탐색을 사용하는 것이 "유리하고 재현 가능한 절충안(favourable and reproducible trade-off)"을 제공한다고 제안합니다. 이는 거대하고 다루기 힘든 모델을 만드는 대신, 최고 수준의 의료 예측을 얻을 수 있는 방법을 제시합니다. 그것은 마치 풀 사이즈 셰프의 칼만큼 날카로우면서도 주머니에 쏙 들어가는 스위스 아미 나이프를 찾는 것과 같습니다.

하지만 저자들은 그 대가에 대해서도 솔직합니다: 완벽하고 압축된 설계를 찾기 위해 초기에 "탐색 예산"(시간과 컴퓨팅 파워)을 지불해야 합니다. 만약 진화를 실행할 시간이 있다면, 당신은 작고 효율적인 모델을 얻게 됩니다. 만약 즉각적인 답변이 필요하다면, 전통적인 방식이 여전히 최선의 선택일 수 있습니다. 이 연구는 이 접근 방식이 기기가 작거나 전력이 제한된 임상 환경에서 특히 가치가 있다고 제안하지만, 이는 특정 테스트에 기반한 제안일 뿐 보편적인 법칙은 아닙니다.