로봇에게 다양한 종류의 부서진 장난감을 인식하도록 가르치려 한다고 상상해 보세요. 당신에게는 로봇에게 보여줄 수 있는 고작 다섯 개의 부서진 조각이 담긴 작은 상자뿐입니다. 로봇은 이전에 본 적이 없는 부서진 장난감을 보고 혼란에 빠집니다. 규칙을 찾아내지 못하는 것이죠. 이것은 인공지능 세계에서 '데이터 부족(data scarcity)'이라고 불리는 흔한 문제입니다. 이를 해결하기 위해 과학자들은 영리한 기술을 사용하곤 합니다. 바로 아주 똑똑한 AI에게 가진 몇 안 되는 진짜 부서진 장난감을 바탕으로 새로운 부서진 장난감을 '상상'해 보라고 요청하는 것입니다. 이것을 '합성 데이터 생성(synthetic data generation)'이라고 합니다. 마치 재능 있는 화가에게 로봇이 공부할 수 있도록 수천 장의 새로운 부서진 장난감 그림을 그려달라고 부탁하는 것과 같습니다. 희망 사항은, 로봇이 이 새로 만들어진 가짜 그림들을 공부함으로써 나중에 실제 부서진 장난감을 발견하는 데 달인이 되는 것입니다. 하지만 여기서 큰 질문이 생깁니다. 로로봇이 정말로 그림으로부터 배울 수 있을까요, 아니면 실제로 부서진 조각을 손에 쥐어봐야 할까요?

연구진은 이 아이디어를 매우 높은 이해관계가 걸린 실제 상황, 즉 로봇이 대규모 참사 현장에서 사람들의 심각한 부상을 포착하도록 돕는 시나리오에서 테스트하기 위해 나섰습니다. 그들은 진짜 부상 사진이 몇 장 없을 때, 가짜 부상 사진을 만들어내는 것이 단순히 몇 장의 실제 사진만 가지고 연습하는 것보다 로봇의 학습에 더 도움이 될지 확인하고 싶었습니다. 그들은 이 가짜 사진을 만드는 두 가지 주요 방법을 시도했습니다. 하나는 AI가 모든 부상의 '분위기'를 학습하여 처음부터 새로운 것을 그려내는 방식이고, 다른 하나는 AI가 실제 사진을 가져와 조명이나 각도를 약간 바꾸는 것처럼 수정하는 방식입니다. 또한 그들은 이 화려한 AI 방식들을, 단순히 실제 사진을 가져와서 위치를 바꾸거나, 뒤집거나, 색상을 변경하는 더 단순하고 오래된 기술과 비교했습니다.

결과는 다소 충격적이었습니다. 연구진은 화려한 AI 생성 사진이 로봇의 학습을 크게 개선하지 못했다는 사실을 발견했습니다. 즉, 단순한 셔플링(shuffling) 기술보다 나을 게 없었다는 것입니다. 실제로 AI는 가짜 부상을 만드는 과정에서 실수를 저지르곤 했습니다. 때때로 AI는 원본 사진을 너무 똑같이 복제했는데, 이는 마치 학생이 선생님의 노트를 그대로 베껴 쓰는 것과 같았습니다. 또 어떤 경우에는 겉보기에는 완벽해 보이지만, 실제 부상을 식별하기 어렵게 만드는 지저도하고 혼란스러운 세부 사항들이 빠져 있어 너무 단순하고 깔끔한 부상을 만들어내기도 했습니다. 로봇은 이러한 '완벽한' 가짜 부상을 찾아내는 데는 능숙해졌지만, 실제의 무질서한 현실을 다루는 능력은 전혀 향상되지 않았습니다. 이 연구는 데이터가 희귀하고 무질서한 상황에서, 단순히 더 많은 이미지를 생성하는 것이 우리가 기대했던 마법 같은 해결책이 아닐 수도 있음을 시사합니다. 때로는 실제의 무질서한 데이터를 가지고 연습하는 고전적인 방법이 여전히 최고의 스승일 수 있습니다.

로봇과 가짜 부상의 이야기

이 실험이 어떻게 진행되었는지 더 깊이 파헤쳐 보겠습니다. 연구진은 로봇이 심한 출혈, 머리 부상, 또는 골절 등을 빠르게 식별해야 하는 재난 구역을 위한 시스템을 연구하고 있었습니다. 문제는 무엇일까요? 실제 데이터를 얻기가 매우 어렵다는 점입니다. 수천 명의 사람들이 다치는 장면을 직접 촬영하러 다닐 수는 없습니다. 그것은 위험하고, 비용이 많이 들며, 윤리적으로도 복잡한 문제입니다. 그래서 그들은 단 362장의 이미지가 담긴 아주 작은 데이터셋을 가지고 있었습니다. 여기에는 211명의 서로 다른 사람(또는 부상 입은 것처럼 보이도록 만들어진 마네킹)이 포함되어 있었습니다.

그들의 이론을 테스트하기 위해, 연구진은 이 작은 그룹을 훈련 세트와 테스트 세트로 나누었습니다. 그런 다음 다양한 방법을 사용하여 로봇에게 더 많은 데이터를 '먹이는' 시도를 했습니다. 먼저, 그들은 '비생성적(Non-Generative)' 접근 방식을 시도했습니다. 이것은 기본적으로 가지고 있는 몇 장의 실제 사진을 가져와서 뒤집거나, 밝기를 조절하거나, 디지털 노이즈를 추가하는 등의 작업을 하는 것입니다. 이것은 부서진 장난감 사진 한 장을 가져와서 로봇에게 가능한 모든 각도에서 보여주는 것과 같습니다.

다음으로, 그들은 '생성적(Generative)' 접근 방식을 시도했습니다. 여기서 AI 예술가들이 등장합니다. 그들은 StyleGAN, Stable Diffusion, DreamBooth와 같은 강력한 도구들을 사용했습니다.

• 분포 모델링(Distribution Modeling): AI가 모든 부상 사진을 살펴보고 '평균적인' 부상이 무엇인지 이해하려고 노력한다고 상상해 보세요. 그러고 나서 완전히 새로운 것을 처음부터 그려냅니다. 연구진은 이러한 AI들이 종종 막히는 현상을 발견했습니다. StyleGAN은 때때로 원래의 사진을 그대로 암기하여 거의 똑같은 복사본을 내뱉곤 했는데, 이는 학생이 수학을 배우는 대신 정답지를 통째로 외우는 것과 같습니다. Stable Diffusion은 새로운 이미지를 그려냈지만, 그것들은 기괴하게 깨끗하거나 다리가 몸의 엉뚱한 곳에 붙어 있는 것과 같은 해부학적 오류를 보이기도 했습니다.
• 샘플 섭동(Sample Perturbation): 이것은 실제 사진을 가져와서 AI에게 "조금 다르게 만들어봐"라고 요청하는 것과 같습니다. 예를 들어 배경이나 조명을 바꾸는 식이죠. 이 방법은 처음부터 그리는 것보다는 조금 더 나았지만, 변화가 너무 작아서 실제로 도움이 되지는 않았습니다.

또한, 그들은 특정 데이터에 대해 전혀 배운 적이 없는 거대 사전 학습 AI(GPT)에게 "피 흘리는 상처를 그려줘"라고 요청하는 실험도 했습니다. 이렇게 만들어진 이미지들은 매우 사실적으로 보였지만, 결과적으로는 너무 '완벽'했습니다. 그것들은 부상의 '교과서적인' 예시였습니다. 깨끗하고, 명확하며, 식별하기 쉬운 형태였죠. 하지만 실제 부상은 무질서합니다. 흙으로 뒤덮여 있거나, 그림자에 가려져 있거나, 옷에 의해 가려져 있습니다. AI가 만든 '완벽한' 부상들은 로봇에게 실제의 무질서함을 가르쳐주지 못했습니다.

"너무 쉬운" 함정

연구진이 '너무 쉬운(Too Easy)' 함정이라고 부른 발견은 매우 흥ей로운 부분이었습니다. 로봇을 가짜 이미지로 테스트했을 때, 로봇은 거의 매번 정답을 맞혔습니다. 하지만 실제 이미지로 테스트했을 때는 고전했습니다. 왜일까요? 가짜 이미지들은 본질적으로 진실의 '단순화된' 버전이었기 때문입니다. 그것들은 부상의 '표준적'이거나 이상적인 모습이었습니다.

운전 배우기를 생각해보세요. 만약 당신이 날씨가 완벽하고, 다른 차가 없고, 도로가 완벽하게 직선인 드라이빙 시뮬레이터에서만 연습한다면, 당신은 그 시뮬레이터의 달인이 될 수 있습니다. 하지만 비가 오고, 교통량이 많고, 도로에 구멍이 뚫린 실제 도시로 나가는 순간, 당신은 사고를 낼 것입니다. AI가 생성한 이미지들은 완벽한 시뮬레이터였고, 실제 데이터는 혼란스러운 도시였습니다. 로봇은 완벽한 시뮬레이터를 인식하는 법은 배웠지만, 혼돈을 다루는 법은 배우지 못했습니다.

연구진은 또한 '특징 공간(feature space)', 즉 로봇이 보는 것을 나타내는 세련된 용어로 표현되는 '지도'를 살펴보았습니다. 그들은 실제 이미지들이 무질서한 현실의 모든 변형을 나타내며 지도 곳곳에 흩어져 있다는 것을 발견했습니다. 반면 가짜 이미지들은 이해하기 쉽고 안전한 영역인 중간 부분에 모여 있는 경향이 있었습니다. 가짜 이미지들은 로봇이 실제 도전 과제들이 존재하는 지도의 어렵고 무질서한 가장자리로 나아가도록 밀어붙이지 못했습니다.

다른 분야에서는 어떨까?

이것이 단지 의료 부상에만 국한된 우연한 결과가 아님을 확인하기 위해, 연구진은 로봇 용접(robot welds) 이미지라는 다른 데이터셋을 사용하여 동일한 실험을 수행했습니다. 그들은 로봇이 '좋은' 용접과 '나쁜' 용접을 구별할 수 있는지 알고 싶었습니다. 이 데이터셋은 훨씬 더 컸음에도 불구하고(4,000장 이상의 이미지), 결과는 동일했습니다. 화려한 AI 생성 이미지는 단순히 실제 사진을 섞어서 사용하는 간단한 방법보다 로봇의 성능을 높이는 데 도움이 되지 않았습니다. 이는 문제가 단지 데이터가 부족하다는 것에 있는 것이 아니라, AI가 만드는 데이터의 '종류'에 관한 문제임을 시사합니다.

결론

그렇다면 호기한 십 대를 위한 핵심 요점은 무엇일까요? 이 논문은 AI가 아름답고 사실적인 그림을 그릴 수는 있지만, 아직 로봇이 무질서한 현실 세계에서 학습할 때 필요한 '올바른 종류의 연습 문제'를 만드는 법은 익히지 못했다고 제안합니다. 실제로 연구에 따르면, 실제 사진을 약간 수정하는(밝기를 바꾸거나 뒤집는 등) 단순하고 오래된 방식이 화려한 AI 생성기보다 종종 더 낫거나 비슷하게 효과적이었습니다.

연구진이 AI 생성이 영원히 쓸모없다고 말하는 것은 아닙니다. 그들은 현재, 이처럼 이해관계가 높고 무질서한 상황에서, AI는 현실의 혼돈을 다루는 법을 가르쳐주지 못하는 '너무 완벽한' 예시들을 만들어내는 경향이 있다고 말하는 것입니다. AI가 현실만큼이나 무질서하고, 혼란스럽고, 다양한 이미지를 생성할 수 있게 될 때까지, 가장 좋은 스승은 우리가 이미 가지고 있는 몇 안 되는 불완전한 실제 사례들일 수 있습니다. 이는 때때로 가장 강력한 도구는 더 많은 새로운 것을 만들어내는 도구가 아니라, 우리가 이미 가진 것들을 조금 더 잘 이해하도록 도와주는 도구라는 점을 상기시켜 줍니다.