당신이 로봇에게 걸작을 그리는 법을 가르치고 있다고 상상해 보세요. 당신은 단순히 "고양이를 그려라"라고 말하는 대신, 빈 캔버스를 주고 정적 노이즈(static noise)의 구름부터 시작하라고 요청합니다. 단계별로, 로봇은 노이즈를 조금씩 제거하며 그 아래에 숨겨진 이미지를 서서히 드러냅니다. 이 과정을 **디퓨전(diffusion)**이라고 부르며, 이는 오늘날 여러분이 보는 많은 AI 아트 생성기 뒤에 숨겨진 마법입니다. 하지만 여기서 까다로운 점이 있습니다. 로봇은 맨 마지막에만 성적을 받습니다. 최종 그림이 고양이처럼 보이면 높은 점수를 받고, 덩어리처럼 보이면 낮은 점수를 받습니다. 로봇은 어떤 특정한 붓질이 차이를 만들어냈는지 결코 알 수 없습니다. 이것은 마치 학생이 시험을 치르고 나서, 어떤 문제를 맞히고 틀렸는지에 대한 피드백 없이 최종 성적만 받는 것과 같습니다. 이 때문에 로봇은 종종 잘못된 것을 연습하는 데 시간을 허비하며, 학습 과정을 느리고 비효율적으로 만듭니다.

이것이 바로 새로운 논문이 다루는 문제입니다. Xinyao Liao와 Wei Wei가 이끄는 연구진은 로봇이 그림을 그리는 동안, 어떤 단계는 큰 형태(예: 고양이의 윤곽선)를 잡는 데 매우 중요한 반면, 다른 단계는 그저 미세한 디테일(예: 수염)을 더할 뿐이라는 점에 주목했습니다. 하지만 기존의 방식은 모든 단계를 똑같이 중요하게 취급했습니다. 이는 마치 고양이의 몸 전체를 그리는 것과 머리카락 한 올을 그리는 것에 똑같은 공로를 인정하는 것과 같습니다. 이 논문은 CoCA(Contribution-based Credit Assignment, 기여도 기반 신용 할당)라는 영리한 새로운 방법을 제안합니다. CoCA는 그림이 완성될 때까지 기다려 점수를 주는 대신, 각 단계에서 이미지가 얼마나 개선되었는지를 살펴보고 그에 걸맞은 공로를 인정합니다. 연구진은 이 방식을 통해 로봇이 추가적인 선생님이나 복잡한 도구 없이도 25%에서 100% 더 빠르게 학습한다는 것을 발견했습니다. 이는 단순히 점수를 계산하는 방식을 더 똑똑하게 바꿈으로써 로봇에게 '무료' 업그레이드를 제공하는 방법입니다.

문제점: "단 한 번의 성적"이라는 함정

이것이 왜 중요한지 이해하기 위해, 현재 이 AI 예술가들이 어떻게 훈련되고 있는지 살펴봅시다. 당신이 화가 팀을 코칭하고 있다고 상상해 보세요. 당신은 그들에게 지저도한 노이즈가 가득한 캔버스에서 시작하여, 아름다운 이미지가 나타날 때까지 천천히 깨끗하게 정리하라고 말합니다. 문제는 그들이 그림을 다 그린 후에야 점수를 준다는 것입니다.

AI의 세계에서 이것은 **희소한 보상(sparse reward)**이라고 불립니다. AI는 마지막에 하나의 숫자만을 받습니다: "잘했어!" 또는 "다시 해봐." 문제는 AI가 왜 그 점수를 받았는지 모른다는 것입니다. 10단계에서 눈을 제대로 그려서 점수를 받은 걸까요? 아니면 40단계에서 배경을 수정해서 받은 걸까요? 이유를 모르기 때문에, AI는 그림 그리는 과정의 모든 단계를 똑같이 중요하게 취급합니다. 이는 마치 역사 시험을 공부하는 학생이 선생님이 최종 시험 성적만 매기기 때문에, 사소한 전투의 날짜를 외우는 데나 거대한 전쟁의 전체 전략을 외우는 데나 똑같은 시간을 쓰는 것과 같습니다.

연구진은 이러한 접근 방식이 비효율적이라는 것을 관찰했습니다. 그림 과정의 초기 단계는 대개 전역적 구조(큰 형태)를 설정하기 때문에 가장 중요합니다. 후기 단계는 그저 미세한 디테일을 더할 뿐입니다. 하지만 기존 방식은 이를 신경 쓰지 않았습니다. 모든 단계에 동일한 "공로"를 부여했습니다. 이는 불일치를 초래합니다. AI는 별로 중요하지 않은 단계에 열심히 매달리는 반면, 이미지를 만들거나 망치는 결정적인 단계는 무시하게 됩니다.

해결책: CoCA (스마트한 점수 기록원)

이 논문은 CoCA(Contribution-based Credit Assignment)를 소개합니다. CoCA를 실시간으로 그림 과정을 지켜보는 아주 똑똑한 점수 기록원이라고 생각해보세요. 끝날 때까지 기다려 성적을 주는 대신, CoCA는 매 단계마다 다음과 같은 간단한 질문을 던집니다. "이 단계가 우리가 최종적인 완벽한 이미지에 얼마나 더 가까워지게 만들었는가?"

이것이 어떻게 작동하는지 쉬운 언어로 설명하면 다음과 같습니다:

1. 진행 상황 관찰: AI가 노이즈를 제거함에 따라, CoCA는 현재의 지저분한 이미지와 결국 만들어진 최종의 깨끗한 이미지를 비교합니다.
2. 도약 측정: 특정 순간에 이미지가 얼마나 개선되었는지 계산합니다. 만약 어떤 단계가 고양이의 얼굴을 훨씬 더 고양이답게 만들었다면, 그 단계는 큰 "공로 점수"를 받습니다. 만약 어떤 단계가 이미지를 크게 바꾸지 않고 그저 픽셀들을 이리저리 옮기기만 했다면, 작은 공로 점수를 받습니다.
3. 점수 재배분: 마지막에 최종 점수가 도착하면, CoCA는 그 단일 점수를 나누어 배분합니다. 실제로 큰 역할을 한 단계에는 가장 큰 덩어리의 보상을 주고, 사소한 디테일만 더한 단계에는 작은 덩어리를 줍니다.

가장 좋은 점은 무엇일까요? CoCA는 추가적인 선생님, 추가 컴퓨터, 혹은 새로운 학습 데이터가 필요하지 않습니다. CoCA는 AI가 이미 생성하고 있었지만 효과적으로 사용하지 못했던 정보를 활용하여, 각 단계의 중요성을 스스로 파악합니다. 이는 AI가 가고 있는 경로를 보고 중요도를 판단하는 것이기에, 기존의 고정된 규칙으로 추측하는 것보다 훨씬 효율적인 "무료" 업그레이드입니다.

연구 결과: 더 빠르고 더 똑똑하게

연구진은 여러 가지 다른 AI 모델과 보상 시스템(이미지가 얼마나 "좋은지" 측정하는 방식)에 대해 CoCA를 테스트했습니다. 결과는 매우 유망했습니다:

• 속도 향상: AI는 이전보다 25%에서 100% 더 빠르게 학습했습니다. 이는 좋은 이미지를 그리는 법을 배우는 데 더 적은 시도가 필요함을 의미합니다.
• 품질 개선: 생성된 이미지는 더 빠르게 학습되었을 뿐만 아니라, 사용자의 지시를 더 잘 따르고 더 자연스러워졌습니다.
• 추가 비용 없음: 점수를 예측하기 위해 추가적인 AI 모델을 훈련시켜 해결하려는 다른 방법들과 달리, CoCA는 수학과 논리만으로 이를 수행하여 단순함과 속도를 유지합니다.

CoCA가 아닌 것

이 논문이 하지 않은 일을 이해하는 것도 중요합니다. 연구진은 초기 단계가 더 중요할 것이라고 생각하여 초기 단계에 더 많은 점수를 주는 식의 더 단순한 아이디어들을 먼저 시도해 보았습니다. 그들은 이러한 "고정된" 방식이 잘 작동하지 않는다는 것을 발견했는데, 왜냐하면 모든 그림은 서로 다르기 때문입니다. 때로는 초기 단계가 결정적이고, 때로는 후기 단계가 더 중요할 수도 있습니다. CoCA가 특별한 이유는 고정된 규칙으로 추측하는 대신, 매 그림마다 실시간으로 중요도를 파악하여 적응하기 때문입니다.

또한, CoCA는 최종 목표를 바꾸지 않습니다. AI는 여전히 마지막에 높은 점수를 받는 것을 목표로 합니다. 단지 CoCA가 AI가 그 목표에 더 효율적으로 도달하도록 도와줄 뿐입니다. CoCA는 새로운 그리기 방식을 발명하는 것이 아니라, 더 나은 피드백을 제공함으로써 AI가 더 잘 그리는 법을 배우도록 돕는 것입니다.

결론

이 논문은 더 크고 비싼 시스템을 구축하지 않고도 AI 아트 생성기를 훨씬 더 효율적으로 만들 수 있음을 시사합니다. 단순히 점수를 계산하는 방식을 바꾸는 것, 즉 이미지를 실제로 개선한 특정 단계에 공로를 인정하는 것만으로도, 우리는 이 로봇들이 더 빠르게 학습하고 더 나은 예술을 창조하도록 도울 수 있습니다. 이는 때때로 더 나아지는 최선의 방법은 더 열심히 노력하는 것이 아니라, 우리의 진전을 측정하는 방식을 더 똑똑하게 만드는 것임을 상기시켜 줍니다.