큰 질문: 위원회가 천재보다 더 나은가요?

당신이 걸작을 그리려고 한다고 상상해 보세요. 당신에게는 수년간 그림 그리는 법을 배운 매우 재능 있는 예술가 한 명(단일 AI 모델)이 있습니다. 이제, 똑같이 재능 있는 다섯 명의 예술가로 구성된 위원회를 모았다고 상상해 봅시다. 과학의 많은 분야에서 통용되는 오래된 규칙은 이렇습니다. "위원회는 항상 개인보다 낫다." 만약 한 예술가가 실수를 하더라도, 다른 예술가들이 이를 바로잡을 수 있기 때문입니다. 그들의 의견을 평균 내면 완벽한 결과물을 얻을 수 있을 것입니다.

이 논문은 다음과 같은 질문을 던집니다. "이 규칙이 AI 이미지 생성기(확산 모델, Diffusion Models)에서도 작동할까요?"

짧은 답변은 이렇습니다. 놀랍게도, 아니오입니다. 사실, 때로는 위원회가 단 한 명의 최고의 예술가보다 결과물을 더 나쁘게 만들기도 합니다.

---

이 AI 화가들은 어떻게 작동하는가 ("디노이징" 게임)

위원회가 왜 실패했는지 이해하려면, 이 AI 화가들이 어떻게 작동하는지 알아야 합니다. 그들은 처음부터 그림을 그리는 것이 아닙니다. 그들은 정적 노이즈(TV의 지지직거리는 화면 같은 것)로 뒤덮인 캔버스에서 시작하여, 이를 천천히 "정리"하며 이미지를 드러냅니다.

• 스코어(Score): 정리를 하는 매 아주 작은 단계마다, AI는 "이 픽셀을 어떤 방향으로 움직여야 더 실제 얼굴처럼 보일까?"를 추측해야 합니다. 이 추측을 스코어라고 부릅니다.
• 과정: AI는 이 수천 번의 미세한 추측을 수행하며, 픽셀을 노이즈에서 선명한 이미지로 단계별로 이동시킵니다.

실험: "위원회" 접근법

연구진은 "앙상블(Ensemble, 집합)"을 구축하려고 시도했습니다. 그들은 다섯 개의 서로 다른 AI 화가를 각각 따로 훈련시켰습니다. 그런 다음, 정리를 하는 매 단계마다 다섯 명의 화가 모두에게 픽셀을 어느 방향으로 움직여야 할지에 대한 조언을 구했습니다.

그들은 조언을 결합하는 몇 가지 방법을 시도했습니다:

1. 산술 평균 (The Arithmetic Mean): 다섯 명의 추측을 평균 냈습니다. (예를 들어 다섯 명에게 길을 묻고 그 평균 거리만큼 걷는 것과 같습니다.)
2. 지배적 특징 (The Dominant Feature): 각 특정 픽셀에 대해 가장 크게 소리치는 사람(가장 큰 추측값을 가진 사람)의 말만 들었습니다.
3. 전문가 혼합 (The Mixture of Experts): 여정 전체 동안 무작위로 선택된 한 명의 화가에게만 집중했습니다.

결과: 왜 둘(또는 다섯)이 하나보다 못할까?

연구진이 발견한 내용을 다음과 같이 정리했습니다.

1. "수학"은 좋아졌지만, "예술"은 나빠졌다

연구진이 수학적 측면(훈련 손실, training loss)을 살펴보았을 때, 위원회는 훌륭해 보였습니다. 다섯 화가의 평균 추측은 수학적으로 어떤 단일 화가보다 "완벽한" 정답에 더 가까웠습니다.

• 비유: 다섯 사람이 호박의 무게를 추측한다고 상상해 보세요. 그들의 추측을 평균 내면 정확한 무게를 맞출 수도 있습니다.
• 문제점: AI 이미지 생성에서 수학적으로 "정확"하다는 것이 반드시 이미지가 좋다는 것을 의미하지는 않습니다. 위원회의 평균 추측은 수학적으로는 정밀했지만, 결과물은 흐릿하거나 탁하고 이상하게 보였습니다. 단 한 명의 최고의 예술가가 훨씬 더 선명하고 사실적인 사진을 만들어냈습니다.

2. "흐릿한 위원회" 효과

다섯 명의 서로 다른 의견을 평균 내면, 종종 "안전한" 중간 지점에 도달하게 됩니다.

• 비유: 다섯 명의 요리사가 수프를 만든다고 상상해 보세요. 요리사 A는 아주 짜게, 요리사 B는 아주 맵게, 요리사 C는 아주 달게 만들고 싶어 합니다. 만약 이 모든 수프를 섞어버린다면, 당신은 "완벽한" 수프를 얻는 것이 아니라, 아무 맛도 느껴지지 않는 밋밋하고 혼란스러운 결과물을 얻게 됩니다.
• 논문의 발견: "스코어"(픽셀을 이동시키는 방향)를 평균 내면서, 위원회는 이미지를 실제처럼 보이게 만드는 날카롭고 창의적인 디테일을 뭉개버렸습니다. 그 결과는 종종 단 한 명의 최고의 요리사를 사용했을 때보다 더 나빴습니다.

3. 유일한 예외: "무작위 선택자"

조금 더 나은 성과를 보인 전략이 하나 있었습니다. 바로 전문가 혼합(Mixture of Experts) 방식입니다.
조언을 평균 내는 대신, 연구진은 시작할 때 무작위로 한 명의 화가를 선택하고 그 화가가 전체 과정을 수행하도록 했습니다.

• 왜 작동했는가: 이것은 전통적인 의미의 "위원회"를 만든 것이 아닙니다. 단지 많은 서로 다른 이미지들을 처리하는 과정에서 다양한 화가들의 고유한 스타일을 볼 수 있게 해준 것입니다. 이미지를 흐릿하게 섞는 대신, 다양성을 더해준 것입니다.

4. 표 형식 데이터의 놀라운 결과 (숲의 비유)

연구진은 또한 **랜덤 포레스트(Random Forests, 의사 결정 나무로 만들어진 AI의 일종)**를 사용하여 표 형식 데이터(숫자로 된 스프레드시트)에 대해서도 테스트했습니다.

• 발견: 여기서 "지배적 특징" 전략(가장 크게 소리치는 나무의 말을 듣는 것)은 매우 효과적이었습니다.
• 이유: 스프레드시트의 세계에서는 "평균" 추측이 노이즈를 과소평가하는 경향(너무 조용함)이 있었습니다. "가장 크게 소리치는" 추측이 더 정확했습니다. 이는 이미지의 경우와는 정반대의 결과입니다. 이미지에서는 "가장 크게 소리치거나" "평균을 내는" 추측이 그림을 망쳤습니다.

이론적 "아하!" 순간

이 논문은 **비가환성(Non-Commutativity)**이라는 영리한 수학적 개념을 통해 왜 이런 일이 발생하는지 설명합니다.

• 개념: 수학에서 때때로 연산의 순서가 중요할 때가 있습니다. (예: "양말을 신고 나서 신발을 신는 것"과 "신발을 신고 나서 양말을 신는 것"은 다릅니다.)
• 논문의 통찰: 연구진은 노이즈를 추가하는 것과 의견을 결합하는 것(평균 내기)이 서로 잘 어울리지 않는다는 것을 증명했습니다.
  • 다섯 개의 완벽한 사진을 가져와서 노이즈를 더한 뒤에 평균을 내면, 흐릿한 덩어리가 됩니다.
  • 노이즈가 추가되는 동안 "규칙"(스코어)을 평균 내는 것은 실제로 "슈퍼 모델"을 만드는 것이 아닙니다. 그것은 단지 다른, 약간은 망가진 규칙을 따르는 모델을 만드는 것뿐입니다.
  • 비유: 다섯 명의 사람이 개를 산책시키려고 한다고 상상해 보세요. 만약 그들이 모두 리드줄을 조금씩 서로 다른 방향으로 잡아당긴다면, 개는 "완벽한 평균" 방향으로 걷는 것이 아니라, 혼란에 빠져 제자리에서 뱅글뱅글 돌게 될 것입니다.

결론: 우리는 무엇을 해야 하는가?

이 논문은 이미지 생성을 위해 다음과 같이 결론짓습니다:

1. 모델을 단순히 평균 내지 마세요: 다섯 개의 모델을 훈련시킨 뒤 그들의 추측을 평균 내는 것은 컴퓨터 자원의 낭비입니다. 그것은 이미지를 더 좋게 만들지 못하며, 오히려 더 나쁘게 만드는 경우가 많습니다.
2. 단 하나의 최고의 모델에 집중하세요: 추가적인 컴퓨팅 파워를 사용하여 다섯 개의 평범한 모델을 훈련시키는 것보다, 단 하나의 정말 정말 좋은 모델을 훈련시키는 데 쓰는 것이 더 낫습니다.
3. "스코어"가 곧 "그림"은 아닙니다: AI가 수학 문제(스코어를 예측하는 것)를 더 잘 푼다고 해서, 그것이 반드시 예술 문제(예쁜 그림을 만드는 것)를 더 잘한다는 뜻은 아닙니다.

요약하자면: AI 이미지 생성의 세계에서, 다섯 명의 예술가로 구성된 위원회는 종종 탁한 덩어리를 만들어내지만, 단 한 명의 천재 예술가는 걸작을 만들어냅니다. 때로는, 하나가 여럿보다 낫습니다.