컴퓨터가 수천 개의 사례를 보고 그림을 그리거나, 색칠을 하거나, 심지어 영화를 만드는 법을 배울 수 있는 세상을 상상해 보십시오. 이것이 바로 기계가 단순히 데이터를 분석하는 것을 넘어 새로운 독창적인 콘텐츠를 만들어내는 과학의 영역인 **생성형 AI(Generative AI)**의 세계입니다. 이 마법의 중심에는 **생성적 적대 신경망(Generative Adversarial Networks, GANs)**이 있습니다. GAN을 고도의 심리전이 벌어지는 디지털 예술가들의 위작 게임이라고 생각해 보십시오. 한 예술가인 "생성자(Generator)"는 실제처럼 완벽한 가짜 이미지를 만들어내려 노력합니다. 다른 예술가인 "판별자(Discriminator)"는 가짜를 찾아내려는 엄격한 미술 비평가 역할을 합니다. 이들이 이 게임을 반복할수록 생성자는 점점 더 정교해지며, 결국 놀라울 정도로 사실적인 영상과 사진을 만들어내는 법을 배우게 됩니다.

하지만 문제가 하나 있습니다. 컴퓨터에게 사람이 수어를 하는 영상을 만드는 법을 가르치는 것은 매우 어렵습니다. 이는 마치 로봇에게 저글링을 하면서 동시에 물구나무를 서고, 익살스러운 표정까지 지으라고 요구하는 것과 같습니다. 손은 정밀하게 움직여야 하고, 얼굴은 감정을 드러내야 하며, 온몸이 조화를 이루어야 합니다. 만약 컴퓨터가 단 한 부분이라도 실수한다면—예를 들어 수어 사용자의 손가락을 여섯 개로 만들거나 표정을 굳게 만든다면—그 영상은 이상하고 쓸모없게 보일 것입니다. 이는 수어를 통해 소통하는 농인이나 난청인들에게 매우 큰 문제입니다. 그들에게는 단순히 "괜찮은" 수준이 아니라, 완벽하게 명확하고 표현력이 풍부한 영상이 필요하기 때문입니다.

여기서 Glassbox AI의 새로운 연구팀이 영리한 해결책을 들고 등장합니다. 그들은 하나의 일반적인 선생님 대신, 전문 코치 팀처럼 작동하는 시스템을 구축했습니다. 그들은 논문에서 세 명의 서로 다른 "비평가(critics)"(판별자)를 사용하여 영상 제작자를 훈련시키는 프레임워크를 설명합니다. 한 비평가는 전체 몸의 움직임이 자연스러운지 관찰하고, 두 번째 비평가는 손에 집중하여 손가락이 정확한지 확인하며, 세 번째 비평가는 얼굴에 완전히 집중하여 표정을 포착합니다. 이 세 명의 비평가가 서로 논쟁하며 로봇을 혼란스럽게 만들지 않도록, 연구팀은 비평가들이 전문성을 유지하면서도 일반적인 기준에 합의하도록 강제하는 "통합 손실(United Loss)" 규칙을 발명했습니다. 그 결과, 이 시스템은 표준 가정용 컴퓨터에서도 고품질의 수어 영상을 생성할 수 있게 되었습니다.

문제점: "원사이즈-핏-올(One-Size-Fits-All)"의 함정

학생에게 요리사, 피아니스트, 체조 선수가 되는 법을 동시에 가르치려 한다고 상상해 보십시오. 그런데 오직 한 명의 선생님이 "잘했어" 또는 "더 노력해봐"와 같은 일반적인 피드백만 준다면 어떻게 될까요? 학생은 채소 써는 법은 잘하게 될지 몰라도 피아노 연주는 엉망이 될 수도 있습니다. AI의 세계에서도 기존의 영상 생성 모델들은 이와 같은 현상을 겪습니다. 이들은 모든 것을 한꺼번에 배우려다 보니, 몸의 나머지 부분은 괜찮더라도 손이 덩어리처럼 보이거나 얼굴이 굳어버린 영상을 만들어내곤 합니다.

연구진은 수어의 경우 이러한 "일반론적" 접근 방식이 통하지 않는다는 것을 발견했습니다. 손 동작이나 얼굴 표정의 디테일은 너무나 복잡하고 중요해서 우연에 맡길 수 없기 때문입니다. 그들은 AI가 전체적인 맥을 놓치지 않으면서도 까다로운 부분에 특별히 주의를 기울이도록 강제할 방법이 필요했습니다.

해결책: 전문가 팀의 등장

연구팀의 해답은 **멀티-엑스퍼트 GAN(Multi-Expert GAN)**을 구축하는 것이었습니다. 하나의 거대한 뇌가 모든 것을 처리하는 대신, 각자의 전문 비평가에 의해 유도되는 세 개의 뚜렷한 "전문가" 분기를 만들었습니다.

1. 글로벌 비평가(Global Critic): 영상 전체를 관찰하여 수어 사용자의 몸이 자연스럽게 움직이는지, 장면이 일관적인지 확인합니다.
2. 손 비평가(Hand Critic): 손을 확대해서 봅니다. 손가락의 위치에 집착하며, "브이(peace sign)"가 실수로 "엄지 척(thumbs up)"으로 변하지 않도록 보장합니다.
3. 머리 비평가(Head Critic): 얼굴에 집중하여 눈썹, 입, 눈이 올바른 감정을 보여주는지 확인합니다.

AI의 "두뇌"(생성자)에 있는 각 전문가 분기는 자신만의 비평가와 짝을 이룹니다. 손 분기는 손 비평가의 말만 듣고, 얼굴 분기는 얼굴 비평가의 말만 듣습니다. 이는 마치 골키퍼, 공격수, 수비수가 각자의 역할을 따로 연습하는 스포츠 팀처럼, AI가 신체 각 부위에 대한 특정 기술을 개발하도록 강제합니다.

핵심 비결: "통합 손실(United Loss)" 규칙

여기서 까다로운 점은, 세 명의 서로 다른 비평가가 세 가지 다른 지침을 줄 때 AI가 혼란을 느낄 수 있다는 것입니다. 이는 마치 한 학생이 한 코치로부터는 빨리 뛰라는 말을 듣고, 다른 코치로부터는 높이 뛰라는 말을 듣고, 또 다른 코치로부터는 가만히 있으라는 말을 듣는 것과 같습니다. 학생은 제자리에서 뱅글뱅글 돌다가 넘어질 수도 있습니다. 연구 초기 단계에서 연구진은 AI가 정확히 이와 같은 현상을 겪고 있음을 발견했습니다. 즉, 훈련이 무질서하고 불안정했습니다.

이를 해결하기 위해 그들은 "통합 손실(United Loss)" 메커니즘을 발명했습니다. 이것을 "팀 주장" 또는 "합의 규칙"이라고 생각하면 됩니다. 세 명의 비평가가 피드백을 줄 때마다, 시스템은 그들의 평균 의견 중 작은 조각(10%)을 취하여 각 비평가의 개별 지침에 혼합합니다.

이것은 안전망 역할을 합니다. 만약 한 비평가가 너무 과하게 행동하거나 AI를 이상한 방향으로 몰아넣으려 하면, "통합 손실"이 이를 그룹 평균으로 부드럽게 끌어당깁니다. 이는 전문가들이 전문성을 갖추되, 시스템 전체가 무너질 정도로 서로 멀어지지 않도록 보장합니다. 연구진은 이 규칙이 훈련 초기 몇 달 동안 매우 중요했다는 것을 발견했는데, 이는 AI가 스스로 달리기 전에 균형을 잡을 수 있도록 도와주는 보조 바퀴 역할을 했습니다.

아키텍처: 이중 경로의 두뇌

이 전문가들을 더욱 똑똑하게 만들기 위해, 연구팀은 각 분기에 특별한 "이중 경로(dual-pathway)" 두뇌를 부여했습니다. 두 가지 방식으로 동시에 생각하는 뇌를 상상해 보십시오.

• 경로 A (안정적인 경로): 표준 컨볼루션(convolution)을 사용하여 영상이 매끄럽고 떨림이 없도록 만듭니다 (마치 신중하고 꾸준한 화가처럼).
• 경로 B (디테일 중심 경로): 트랜스포머(Transformer)를 사용하여 손가락의 곡선이나 눈의 반짝임 같은 미세한 디테일을 잡아냅니다 (마치 초집중하는 탐정처럼).

이 두 경로는 **적응형 특징 융합(AdaptiveFeatureFusion)**이라는 스마트한 학습 가능 스위치를 통해 결합됩니다. 이 스위치는 순간순순간마다 "꾸준한 화가"와 "초집중하는 탐정" 중 누구를 더 신뢰할지 결정합니다. AI가 손을 그리고 있다면, 손가락을 제대로 표현하기 위해 탐정을 더 신뢰할 수 있습니다. 옷을 그리고 있다면, 옷감을 매끄럽게 유지하기 위해 화가를 더 신뢰할 수 있습니다. 이러한 역동적인 균형 잡기는 AI가 안정적이면서도 동시에 믿기 힘들 정도로 상세하게 표현할 수 있게 해줍니다.

결과: 실제 하드웨어에서의 품질 증명

연구팀은 방대한 양의 수어 영상 데이터셋(156GB!)을 사용하여 시스템을 테스트했습니다. 그들은 단순히 서 있는 것과 같은 쉬운 부분은 제외하고, 수어의 핵심인 움직이는 부분에 집중했습니다.

결과는 인상적이었습니다.

• 더 작은 모델(0.2B 파라미터)은 29.8 PSNR의 품질 점수를 달성했습니다.
• 더 큰 모델(1.3B 파라미터)은 30.7 PSNR에 도달했습니다.

더 흥미로운 점은 이 모델들이 소비자급 하드웨어에서도 실행 가능하다는 것입니다. 작은 모델은 단 1.5 GB의 비디오 메모리(VRAM)만 필요하며, 큰 모델은 8 GB가 필요합니다. 이는 이 영상을 생성하기 위해 슈퍼컴퓨터가 필요하지 않으며, 일반적인 게이밍 PC나 고성능 노트북으로도 가능하다는 것을 의미합니다.

향 ต่อ (Next Steps)

연구진은 아직 하지 못한 부분에 대해 솔직하게 밝히고 있습니다. 이 모델들을 훈련하는 데 단일 컴퓨터로 2~3개월이 걸리기 때문에, 각 부분이 시스템에 정확히 얼마나 기여하는지 입증하기 위한 모든 가능한 테스트를 다 수행하지는 못했습니다. 또한 그들은 이 "전문가 팀" 아이디어를 현재 이미지 생성에서 매우 인기 있는 새로운 유형의 AI인 **확산 모델(Diffusion Models)**에 적용하여, 시스템을 더 빠르고 효율적으로 만들 수 있는지 확인할 계획입니다.

하지만 현재로서 그들은 AI에게 전문화된 코치 팀을 부여하고 이들을 협력하게 만드는 규칙을 적용함으로써, 명확하고 표현력이 풍부하며 누구나 접근 가능한 수어 영상을 만들 수 있다는 것을 입증했습니다. 이는 기술이 단순히 인간을 흉내 내는 것을 넘어, 우리가 소통하는 방식의 미묘한 차이를 진정으로 이해하는 미래를 향한 한 걸음입니다.