Abra: Scaling Diffusion Image Training
이 논문은 텍스트-이미지 확산 모델을 위한 계산 최적화 스케일링 법칙을 확립하기 위해 사용되는 제어된 플로우 매칭 트랜스포머 제품군인 Abra를 소개하며, 이들이 언어 모델처럼 예측 가능하게 스케일링되지만 파라미터당 훨씬 더 많은 데이터를 필요로 하고 과적합(overtraining)에 강하다는 점을 밝혀낸다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 인공지능 시대에, 과학자들이 가장 강력한 컴퓨터 프로그램을 구축하는 방식에 있어 조용한 혁명이 일어나고 있습니다. 수년 동안 연구자들은 컴퓨팅 파워를 어떻게 사용할지 결정하기 위해 '스케일링 법칙(scaling laws)'이라 불리는 일련의 규칙에 의존해 왔습니다. 이 규칙들은 엔지니어들에게 소프트웨어를 위한 약간 더 큰 뇌를 만들 것인지, 아니면 훨씬 더 큰 정보 도서관을 제공할 것인지를 알려주는 예산 가이드 역할을 합니다. 텍스트 기반 AI의 세계에서 이 규칙들은 매우 명확했습니다. 최상의 결과를 얻으려면 컴퓨팅 예산을 모델의 크기와 모델이 읽는 데이터의 양 사이에 대략 균등하게 나누어야 한다는 것입니다. 이러한 균형은 기계가 놀라운 효율성으로 언어를 학습하도록 도왔으며, 오늘날 우리가 보는 정교한 도구들로 이어졌습니다. 그러나 컴퓨터에게 이미지를 생성하는 법을 가르치는 데 있어서는 그 규칙들이 미스터리로 남아 있었습니다. 시각적 데이터는 텍스트보다 훨씬 더 복잡하고 노이즈가 많으며, 이미지 생성기를 위한 이러한 규칙을 지도화하려는 이전의 시도들은 대규모 실험의 부족으로 인해 제한적이었습니다. 명확한 가이드가 없었기에 개발자들은 모델 크기와 데이터 양의 균형을 맞추기 위해 추측에 의존해 왔으며, 이는 종종 막대한 양의 에너지와 시간을 낭비하는 결과로 이어졌습니다.
이제 Luma AI의 연구팀이 거대하고 체계적인 실험을 통해 이 수수께집을 풀기 위해 나섰습니다. 그들은 매우 작은 것부터 상당히 큰 것에 이르기까지 제어된 이미지 생성 모델 제품군을 구축했으며, 이 주제에 관한 이전의 어떤 연구보다도 훨씬 더 압도적인 양의 컴퓨팅 파워를 사용하여 이를 훈련시켰습니다. 이 모델들을 세 가지 다른 차수의 계산 비용(orders of magnitude) 단계로 밀어붙임으로써, 그들은 모델이 성장함에 따라 성능이 정확히 어떻게 변화하는지 관찰할 수 있었습니다. 그들의 연구는 이미지를 생성하는 규칙이 언어를 처리하는 규칙과는 근본적으로 다르다는 것을 밝혀냈습니다. 텍스트 모델은 모델 크기 단위당 약 20개의 단어를 읽은 후에 정점에 도달하지만, 이미지 모델은 훨씬 더 많은 식사를 요구합니다. 연구진은 최적의 효율성에 도달하기 위해 텍스트-이미지 모델이 구조 내의 단 하나의 파라미터당 약 200개의 이미지 토큰을 보아야 한다는 것을 발견했습니다. 이는 이미지 생성의 경우, 데이터가 언어 모델에서만큼이나 중요하며, 언어 모델보다 10배 더 결정적이라는 것을 의미합니다. 모델 크기와 데이터를 동일하게 균형 있게 맞추라는 기존의 조언은 여기에는 적용되지 않습니다. 대신, 설령 그것이 더 작은 뇌를 사용하는 것을 의미하더라도, 모델에게 더 많은 사진을 먹이는 데 우선순위를 두는 것이 가장 효과적인 전략입니다.
또한 이 연구는 개발자들을 위한 놀라운 안전망을 발견했습니다. 언어 모델의 세계에서는 시스템을 너무 오랫동안 너무 많은 데이터로 훈련시키면 성능이 저하될 수 있고, 추가적인 노력은 낭비가 됩니다. 하지만 이미지 생성기의 경우, 연구진은 모델이 매우 관대하다는 것을 발견했습니다. 만약 실무자가 엄격하게 필요한 것보다 모델을 더 오래 훈련시키기로 결정하더라도, 이미지의 품질은 크게 떨어지지 않습니다. 실제로 성능의 손실은 매우 작아서 거의 무시할 수 있는 수준입니다. 이 발견은 업계에 실질적인 규칙을 제공합니다. 즉, 너무 적은 데이터로 거대한 모델을 훈련시키는 위험을 감수하기보다, 방대한 양의 데이터로 더 작은 모델을 훈련시키는 것이 훨씬 더 안전하다는 것입니다. 추가적인 훈련 시간은 고품질의 결과를 보장하면서도, 다른 유형의 AI에서 발생하는 자원 낭비의 페널티 없이 버퍼 역할을 합니다.
팀은 단순히 최종 이미지 품질을 넘어, 이 모델들이 디지털 뇌 내부에서 세상을 이해하는 방법을 어떻게 배우는지도 살펴보았습니다. 그들은 모델이 사물과 패턴을 인식하는 능력, 즉 '표상 학습(representation learning)' 능력이 있는지 테스트했습니다. 그들은 이미지를 이해하는 데 있어 최적의 효율성이 발생하는 지점이 이미지를 생성하는 지점보다 훨씬 더 낮은 데이터 볼륨에서 일어난다는 것을 발견했습니다. 모델은 그림을 완벽하게 그려내기 훨씬 전부터 고양이나 풍경을 아주 잘 인식할 수 있습니다. 이는 모델의 내부 지식과 예술을 창조하는 능력이 서로 다른 속도로 성장함을 시사합니다. 또한, 연구진은 이미지의 해상도가 높아짐에 따라 데이터의 필요성이 더욱 커진다는 것을 관찰했습니다. 고해상도 사진을 만들도록 모델을 훈련시키는 것은 저해상도 스케치를 만드는 것보다 모델 크기 단위당 훨씬 더 많은 시각적 정보를 요구합니다.
아마도 가장 심오한 발견은 이미지 생성 모델들이 학습 곡선에서 보편적인 패턴을 따른다는 점이었을 것입니다. 연구진이 모델 크기와 사용된 컴퓨팅 양에 맞춰 데이터를 조정했을 때, 가장 작은 모델부터 가장 큰 모델에 이르기까지 모든 모델의 훈련 과정이 하나의 매끄러운 선으로 수렴(collapse)되었습니다. '스케일링 콜랩스(scaling collapse)'라고 알려진 이 현상은, 아주 작은 모델의 행동이 거대한 모델의 행동을 정확하게 예측할 수 있음을 의미합니다. 이는 학습의 근저에 있는 메커니즘이 모든 크기에 걸쳐 일관적임을 시사하며, 엔지니어들에게 미래의 거대 모델을 직접 구축하고 훈련하지 않고도 그 성능을 예측할 수 있는 강력한 도구를 제공합니다.
연구진은 또한 텍스트 설명과 얼마나 잘 일치하는지 또는 얼마나 사실적으로 보이는지와 같은 다양한 성공 척도가 컴퓨팅 파워와 함께 어떻게 스케일링되는지 조사했습니다. 그들은 이러한 서로 다른 목표들이 모두 같은 시점에 정점에 도달하지 않는다는 것을 발견했습니다. 예를 들어, 프롬프트를 얼마나 잘 따르는지와 같은 지표는 실제 사진의 분포와 얼마나 유사한지와 같은 다른 지표와는 다른 데이터 및 크기의 균형을 선호합니다. 이는 이미지 생성기를 위한 단 하나의 '완벽한' 설정은 존재하지 않으며, 최적의 구성은 전적으로 사용자가 모델로 무엇을 하고 싶은지에 달려 있다는 것을 나타냅니다. 또한, 모델이 명령을 얼마나 엄격하게 따를지를 제어하는 생성 가이드 설정은 모델이 커짐에 따라 조정되어야 한다는 것을 발견했습니다. 더 강력한 생성 능력을 갖출수록 좋은 결과를 내기 위해 더 적은 가이드가 필요합니다.
결국, 이 작업은 이미지 생성을 위한 미래에 대한 명확하고 데이터에 기반한 지도를 제공합니다. 이 연구는 분야를 추측에서 벗어나 자원을 할당하는 정밀한 이해의 영역으로 이동시킵니다. 핵심적인 결론은 이미지 생성에 있어서는 데이터가 왕이라는 것입니다. 가장 효율적인 길은 가능한 가장 큰 모델을 만드는 것이 아니라, 어떤 모델을 만들든 그 모델이 방대한 양의 시각적 정보를 먹도록 보장하는 것입니다. 이 새로운 규칙을 따름으로써, 개발자들은 훈련에 필요한 엄청난 에너지를 낭비하지 않고도 멋진 이미지를 생성하는 더 나은, 더 효율적인 시스템을 구축할 수 있습니다. 이 연구는 완벽한 이미지를 생성하는 경로가 완벽한 언어를 생성하는 경로와는 다르지만, 똑같이 예측 가능하며 발견의 가능성이 열려 있음을 확인시켜 줍니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.