The 1st AI Children Challenge

의사가 복도를 걸어가는 아이를 보고, 근육이 제대로 움직이고 있는지, 아니면 미세하게 무언가 잘못되었는지를 즉각적으로 알 수 있는 세상을 상상해 보십시오. 이것은 마법이 아닙니다. 이것은 컴퓨터 비전(컴퓨터에게 이미지와 영상을 보고 이해하도록 가르치는 기술)과 소아과(어린이 의료 서비스)가 만나는 지점입니다. 오랫동안 의사들은 아이가 걷는 방식의 미세한 차이를 포착하기 위해 자신의 눈에 의존해 왔으며, 이 과정을 **보행 분석(gait analysis)**이라고 부릅니다. 숙련된 의사들에게는 이 방식이 효과적이지만, 컴퓨터에게 이를 가르치는 것은 매우 어렵습니다. 왜냐하면 아이들은 단순히 '작은 성인'이 아니기 때문입니다. 아이들의 몸은 여전히 성장 중이며, 움직임은 흔들리고 예측 불가능하며, 성인처럼 완벽한 리듬으로 걷지 않습니다. 이 때문에 일반적인 AI(주로 안정적인 성인의 보행을 학습한 AI)가 건강 문제를 알리는 아주 작은 단서들을 포착하는 것은 대단히 어렵습니다.

이것은 컴퓨터 과학자들과 의사들이 힘을 합쳐 이 퍼즐을 풀기 위해 노력한 고도의 경쟁, **제1회 AI 어린이 챌린지(1st AI Children Challenge)**에 관한 이야기입니다. 이 논문은 수천 명의 걷는 아이들(유아부터 십 대까지)을 담은 방대한 새로운 영상 데이터 "라이브러리"를 어떻게 구축했는지 설명합니다. 연구진은 세계 최고의 AI 팀들에게 이 영상을 분석하여 **뇌성마비(Cerebral Palsy)**와 관련된 특정 보행 패턴을 찾아내는, 마치 전문의처럼 행동할 수 있는 모델을 만들라는 과제를 던졌습니다. 목표는 단순히 "이 아이가 이상하게 걷는다"라고 말하는 것이 아니라, 단순한 영상만으로도 그 아이가 어떻게 걷고 있는지 정확히 점수를 매기고 구체적인 어려움의 유형을 분류하는 것이었습니다. 이 논문은 이 작업이 매우 까다롭지만, 새로운 데이터셋과 이번 대회가 우리가 의사들이 더 빠르고 정확하게 진단할 수 있도록 돕는 데 한 걸음 더 다가서게 하는 매우 영리한 해결책들을 촉발했음을 보여줍니다.

핵심 과제: AI에게 아이들의 보행을 가르치기

이 논문의 저자들은 인간 의사가 볼 수 있는 것과 컴퓨터가 이해할 수 있는 것 사이의 간극을 메우고자 했습니다. 그들은 기존의 AI 도구들이 마치 성인 교과서만 공부한 학생들과 같아서, 아이들이 다르게 움직이기 때문에 아이들을 분석할 때 실패한다는 점을 깨달았습니다. 이를 해결하기 위해 팀은 어린이 보행 포즈 시퀀스(Children Gait Pose Sequence, CGPS) 데이터셋을 만들었습니다. 이 데이터셋을 AI를 위한 거대하고 매우 상세한 '훈련 매뉴얼'이라고 생각하십시오. 여기에는 유아부터 16.6세 사이의 110명의 환자를 포함하여, 초당 60프레임(1초에 60장의 스냅샷을 찍는 것과 같음)으로 기록된 1,100개 이상의 아이들의 걷는 영상이 들어 있습니다. 이 영상들은 측면과 정면에서 아이들을 볼 수 있도록 설치된 카메라를 통해 촬영되었습니다.

하지만 영상만으로는 충분하지 않습니다. 이 데이터셋의 진짜 마법은 "어노테이션(annotations)", 즉 AI에게 무엇을 찾아야 할지 알려주는 라벨에 있습니다. 수십 년의 경력을 가진 의사를 포함한 전문가들이 이 영상들을 검토하여 아이들의 신체 부위(무릎, 엉덩이, 발목 등)에 특정 지점을 표시함으로써 움직임의 골격(skeleton)을 만들었습니다. 그런 다음 그들은 "뒤꿈치가 얼마나 높이 들리는지" 또는 "무릎이 얼마나 굽혀지는지"와 같은 34가지의 서로 다른 미세한 디테일을 점수화했습니다. 또한 그들은 "양측성 경직형 뇌성마비(bilateral spastic CP)"를 가진 아이들이 보일 수 있는 네 가지 특정한 보행 패턴을 식려냈으며, "점프 보행(Jump Gait, 아이가 껑충껑충 뛰는 것처럼 보이는 형태)"이나 "크라우치 보행(Crouch Gait, 무릎을 굽히고 걷는 형태)"과 같은 이름을 붙였습니다.

대회의 두 가지 트랙

대회는 참가자들이 해결해야 할 두 가지 뚜렷한 미션, 즉 "트랙"으로 나뉘었습니다.

트랙 1: 점수 기록원 (The Scorekeeper)
첫 번째 미션은 엄격한 심판 역할을 하는 것입니다. AI는 아이의 보행을 보고 34가지 서로 다른 움직임에 점수를 부여해야 합니다. 이는 **에든버러 시각적 보행 점수(Edinburgh Visual Gait Score, EVGS)**라는 임상 도구를 기반으로 합니다. 선생님이 학생의 글씨체를 채점하는 것을 상상해 보십시오. AI는 특정 움직임이 "정상"인지 아니면 "비정상"인지 결정해야 했습니다. 논문에서는 이러한 차이가 매우 미세하기 때문에 이 작업이 까다롭다고 언급합니다. 팀은 뒤꿈치 들기가 정상인지 아닌지, 혹은 무릎이 너무 많이 굽혀지는지 등을 예측해야 했습니다. 목표는 AI의 점수를 실제 의사가 기록한 점수와 최대한 가깝게 만드는 것이었습니다.

트랙 2: 탐정 (The Detective)
두 번째 미션은 분류 게임입니다. 여기서 AI는 양측성 경직형 뇌성마비를 가진 아이를 보고, 그 아이가 네 가지 특정 보행 패턴 중 어디에 속하는지 알아내야 합니다. 이는 사람들을 보고 누가 빨간 모자를 썼고, 누가 파란 모자를 썼는지 맞히는 것과 같지만, 여기서 "모자"는 눈에 보이지 않는 보행 스타일입니다. AI는 "진성 첨족 보행(True Equinus)"과 "점프 보행(Jump Gait)"을 구분하는 미세하고 병리적인 차이를 포착해야 했습니다. 특히 이 데이터셋에는 일부 희귀한 패턴의 사례가 매우 적었기 때문에 AI가 혼란을 겪기 쉬웠습니다.

성공 측정 방법

주최 측은 단순히 팀들이 추측하게 내버려 두지 않고, 엄격한 테스트 환경을 구축했습니다. 그들은 AI가 일부 영상으로 학습하고, 본 적 없는 다른 영상들로 테스트를 받을 수 있도록 데이터를 나누었습니다. 결과의 공정성을 보장하기 위해 두 가지 주요 방식으로 팀들을 평가했습니다:

1. 정확도(Accuracy): AI가 얼마나 자주 정답을 맞혔는가?
2. 오차 측정(Error Measurement): 점수 트랙의 경우, AI의 점수가 의사의 점수와 얼마나 차이가 나는지를 측정했습니다.

또한 "사후 평가(post-evaluation)" 단계도 도입했습니다. 대회가 끝난 후, 상위 팀들은 코드를 공유해야 했습니다. 주최 측은 결과가 우연히 얻어진 것인지 확인하기 위해 표준 컴퓨터에서 직접 그 코드를 실행했습니다. 이는 어떤 팀의 결과가 단순히 운이 좋아서 나온 것이 아님을 보장하기 위함이었습니다.

결과: AI가 발견한 것들

대회에는 전 세계에서 57개 팀이 참여했습니다. 결과는 AI가 아직 인간 의사를 완벽하게 흉내 내지는 못하더라도 상당한 진전을 이루었음을 보여주었습니다.

• 점수 트랙 (트랙 1)의 경우: 우승 팀인 CCE는 사전 학습된 AI 모델(일반적인 지식 베이스와 같은 역할)과 의사들이 설계한 특정 규칙을 영리하게 결합했습니다. 그들은 높은 정확도로 점수를 예측해 냈습니다. 또 다른 상위 팀인 Btaji Crew는 예측을 하기 전, 관절의 정확한 각도와 같은 특정 "생체 역학적" 디테일을 추출하는 데 집중했습니다. 논문은 최선의 접근 방식이 단순히 하나의 큰 AI 모델을 사용하는 것이 아니라, 머신러닝이 엄격한 의료 규칙과 함께 작동하는 "하이브리드" 방식처럼 다양한 방법을 결합하는 것이라고 제안합니다.
• 분류 트랙 (트랙 2)의 경우: 우승 팀인 seantangth는 XGBoost(강력한 유형의 의사 결정 알고리즘)를 사용했지만, 왼쪽 다리와 오른쪽 다리가 서로 어떻게 관계를 맺어야 하는지에 대한 특정 의료 규칙을 따르도록 조정했습니다. 그들은 단순히 AI가 추측하게 두는 것만으로는 부족하며, 인체의 대칭성을 존중하도록 강제해야 한다는 것을 발견했습니다.

논문은 상위 팀들이 희귀한 보행 패턴의 사례가 적다는 점을 처리하기 위해 사용한 전략들을 강조합니다. 그들은 "교차 트랙 신호(cross-track signals)" 기법을 사용했는데, 이는 AI가 분류 트랙에서 더 나은 추측을 하기 위해 점수 트랙의 결과를 활용하는 방식입니다. 이는 마치 수학 시험 점수를 이용해 역사 문제의 답을 추측하는 것과 같습니다. 두 과목이 서로 연관되어 있기 때문입니다.

이것이 미래에 의미하는 바

논문은 이 챌린지가 중요한 진전이었다고 결론짓습니다. 이는 적절한 데이터와 의사들의 지도력이 있다면, AI가 아이들의 복잡하고 무질서하며 경이로운 움직임을 이해하기 시작할 수 있음을 증명했습니다. 저자들은 향후 연구가 다양한 카메라와 다양한 체형을 더 잘 다룰 수 있도록 모델을 개선하는 데 집중해야 한다고 제안합니다. 또한, 다음 단계는 이러한 도구들이 실제 병원에서 의사들이 아이들을 더 빠르게 진단하는 데 도움이 될 수 있는지 확인하는 것입니다.

하지만 논문은 이 문제가 "해결되었다"고 주장하는 데 주의를 기울입니다. 결과는 AI가 발전하고는 있지만, 가장 미묘하고 희귀한 사례들에 대해서는 여전히 어려움을 겪고 있음을 보여줍니다. 저자들은 이 챌리지의 진정한 가치가 단순히 승리한 알고리즘이 아니라, 공유된 데이터셋과 의료를 개선하기 위해 함께 노력하는 연구 커뮤니티를 만든 데 있다고 강조합니다. 이 대회는 컴퓨터 비전이 의료 전문 지식과 만날 때, 우리가 모든 아이가 조금 더 쉽게 걸을 수 있도록 돕는 도구를 구축할 수 있음을 보여주었습니다.