패션의 세계에서 도전 과제는 단순히 보기 좋은 단일 아이템을 찾는 것 그 이상이었습니다. 그것은 모든 조각이 서로 어울리는 완전한 룩을 구성하는 것에 관한 것입니다. 수십 년 동안 컴퓨터 과학자들은 기계에게 이러한 스타일 감각를 가르치기 위해 노력해 왔으며, 이 작업은 보완적 이미지 생성(complementary image generation)이라고 알려져 있습니다. 이론적인 목표는 간단합니다. 컴퓨터에게 셔츠를 보여주고, 그와 완벽하게 어울리는 바지를 발명하도록 하는 것입니다. 초기 시도들은 경직된 규칙이나 단순한 템플릿에 의존하여, 기계에게 미세한 차이를 고려할 여지 없이 "청바지 사진"을 생성하라고 요구했습니다. 하지만 실제 사람들은 경직된 템플릿으로 말하지 않습니다. 쇼퍼가 의상을 검색할 때, 그 순간의 비전에 따라 "신축성 있는 허리 밴드가 있는 편안한 핏의 운동용 스웨트팬츠"를 요청하거나 단순히 "청바지"라고 요청할 수도 있습니다. 인간이 욕구를 표현하는 방식과 기계가 이를 듣도록 훈련된 방식 사이의 이러한 간극은 디지털 패션 어시스턴트가 요청 뒤에 숨겨진 진정한 의도를 포착하는 데 어려움을 겪게 만들었습니다.

이탈리아와 오스트리아의 연구진은 새로운 시스템이 자유 형식의 지침을 이해하도록 가르침으로써 이 간극을 메웠습니다. 사용자의 욕구를 미리 정해진 틀에 맞추도록 강요하는 대신, 연구진은 컴퓨터가 의류의 씨앗 이미지(seed image)와 자연어 문장을 받아, 그것이 얼마나 상세하거나 모호하든 상관없이 그에 맞는 아이템을 생성할 수 있는 방법을 만들었습니다. 그들은 세 가지 기존 패션 데이터셋을 수천 개의 새로운 지침으로 풍부하게 하여 이를 테스트했습니다. 이 지침들은 "짐 쇼츠(gym shorts)"와 같은 최소한의 단서부터 직물, 색상, 핏을 명시하는 매우 상세한 설명에 이르기까지 다양했습니다. 그 결과물은 StyleFlow라는 시스템으로, 이는 단순히 어울리는 아이템이 어떻게 보일지 추측하는 것이 아니라, 그것을 묘사하는 구체적인 단어들에 실제로 귀를 기울입니다. 실험에서 연구진은 제공된 언어가 더 구체적일수록 컴퓨터가 사용자의 비전과 생성물을 더 잘 일치시켜, 원래 아이템과 스타일적으로 호환될 뿐만 아니라 서술된 설명에도 충실한 의류를 만들어낸다는 것을 발견했습니다.

연구진은 먼저 이전 작업의 근본적인 한계를 해결하는 것부터 시작했습니다. 대부분의 시스템은 "a photo of [category]"와 같은 고정된 템플릿을 사용하여 훈련되고 테스트되었습니다. 이러한 접근 방식은 상세함이 천차만별인 실제 쇼핑 방식을 반영하지 못했습니다. 이를 해결하기 위해 팀은 테스트를 위한 현실적인 자유 형식 지침을 생성하는 2단계 프로세스를 개발했습니다. 먼저, 시각-언어 모델을 사용하여 의류 이미지를 분석하고 색상, 소재, 컷과 같은 속성을 설명하는 구조화된 캡션을 작성했습니다. 그런 다음, 동일한 모델에게 해당 캡션을 세 가지 다른 상세 수준의 자연스러운 문장으로 다시 쓰도록 요청했습니다. 한 단계는 기본 카테고리만을 제공했고, 다른 단계는 색상과 일반적인 스타일을 추가했으며, 세 번째 단계는 핏과 직물에 대한 구체적인 세부 사항을 포함했습니다. 이후 인간 주석가들이 이 수천 개의 생성된 지침을 검토하여 내용이 명확하고 유창하며 시각적 콘텐츠를 정확하게 설명하는지 확인했습니다. 이를 통해 연구진은 컴퓨터가 막연한 힌트부터 정밀한 주문까지 얼마나 잘 처리하는지 테스트할 수 있는 통제된 환경을 구축했습니다.

이 지침들을 테스트하기 위해 연구진은 Rectified Flow Matching이라 불리는 기술을 기반으로 한 새로운 유형의 생성 모델인 StyleFlow를 구축했습니다. 이미지와 텍스트를 처리하기 위해 복잡하고 별도의 모듈을 필요로 했던 기존 시스템과 달리, StyleFlow는 두 입력을 하나의 통합된 구조로 결합합니다. 이 모델은 씨앗 의류의 이미지와 텍text 지침을 받아 이들을 함께 처리하여 새로운 이미지를 생성합니다. 연구진은 수만 개의 호환되는 상의-하의 쌍을 포함하는 세 개의 대규모 데이터셋으로 이 모델을 훈련시켰으며, 이를 통해 테스트에 사용된 아이템이 훈련 중에 결코 노출되지 않도록 했습니다. 이러한 설정은 시스템이 특정 쌍을 단순히 암기하는 것이 아니라 스타일과 호환성의 근본적인 원리를 학습하도록 강제했습니다. 시스템이 새로운 의류를 생성할 때, 이미지가 얼마나 사실적인지뿐만 아니라 텍스트 지침과 얼마나 잘 일치하는지, 그리고 실제 의류 카탈로그에 있는 아이템과 얼마나 유사한지에 따라 평가되었습니다.

결과는 명확하고 일관된 패턴을 보여주었습니다. 언어의 구체성이 결과의 품질에 직접적인 영향을 미쳤습니다. 시스템이 고도로 상세한 지침을 받았을 때, 의도한 디자인 및 원래의 씨앗 아이템과 훨씬 더 잘 일치하는 의류를 생성했습니다. 예를 들어, 한 데이터셋에서 저상세 프롬프트에서 고상세 프롬프트로 이동했을 때, 생성된 아이템을 실제 카탈로그 제품과 일치시키는 시스템의 능력은 약 38%에서 거의 69%로 향상되었습니다. 또한 시스템은 표준적인 이미지 품질 측정에서도 더 나은 성능을 보였는데, 더 묘사적인 텍스트가 주어졌을 때 생성된 아이템이 더 사실적이고 덜 흐릿하게 보였습니다. 반면, 지침이 모호하거나 전혀 없을 경우 시스템의 성능은 급격히 떨어졌으며, 생성된 아이템은 호환성이 낮고 무작위 노이즈와 구별하기 어려워졌습니다. 이는 시스템이 창의적인 과정을 가이드하기 위해 텍스트에 크게 의존하며, 씨앗 이미지는 주로 스타일적 조화를 유지하는 데 사용한다는 점을 확인시켜 주었습니다.

인간 평가자들은 새로운 시스템을 여러 기존 모델과 비교함으로써 이러한 발견을 더욱 검증했습니다. 블라인드 테스트에서 참가자들은 생성된 이미지의 시각적 품질, 스타일 호환성 및 진본성을 평가했습니다. 새로운 시스템은 경쟁 모델들을 지속적으로 능가하며, 더 사실적으로 보이고 실제 카탈로그 사진으로 오인될 가능성이 높은 아이템을 생성했습니다. 참가자들은 시스템의 생성물을 실제 사진과 거의 유사하다고 판단했으며, 기존 모델들의 "가짜" 탐지율이 훨씬 높았던 것에 비해 약 28%의 낮은 가짜 탐지율을 기록했습니다. 또한 시스템은 사용자의 의도를 따르는 데 탁월했습니다. "지퍼가 달린 주머니"나 "신축성 있는 허리 밴드"와 같은 특정 특징을 요청했을 때, 시스템은 이를 성공적으로 반영했으나 다른 모델들은 종-종 이를 무시하거나 요청된 아이템의 일반적인 버전을 생성했습니다.

연구는 시스템이 입력값으로부터 박탈되었을 때 어떤 일이 발생하는지도 탐구했습니다. 연구진이 텍스트 지침을 제거했을 때 시스템의 관련 아이템 생성 능력이 무너졌으며, 이는 언어가 단순한 부가 요소가 아니라 생성 과정의 핵심 동력임을 증명했습니다. 마찬가지로, 씨앗 이미지를 빈 캔버스로 대체했을 때 시스템은 특히 텍els 지침이 모호할 때 스타일적 일관성을 유지하는 데 어려움을 겪었습니다. 이는 시스템이 효과적으로 작동하기 위해 씨앗 아이템의 시각적 맥락과 텍스트의 구체적인 가이드가 모두 필요함을 보여주었습니다. 연구진은 시스템이 상세한 지침과 함께 작동할 때 가장 효과적이지만, 최소한의 단서만으로도 그럴듯한 결과를 낼 수 있다는 점을 언급하며, 사용자가 원하는 것을 정확히 모를 때 디자인 아이디어를 탐색하는 데 유용할 수 있음을 시사했습니다.

이 연구는 문제를 경직된 템플릿 채우기 연습에서 유연한 언어 접지(language-grounding) 과제로 재구성함으로써, 패션 생성 분야를 사람들이 실제로 기술과 상호작용하는 방식에 더 가깝게 이동시켰습니다. 연구진은 기계가 아주 짧은 힌트부터 정교한 묘사에 이르기까지 인간 언어의 전체 스펙트럼을 해석하고, 이를 원래의 스타일을 존중하는 시각적 현실로 번역할 수 있음을 보여주었습니다. 현재 시스템은 상의와 하의를 매칭하는 데 집중하고 있지만, 저자들은 이 접근 방식이 결국 더 복잡한 착장 조합과 실제 사용자 쿼리를 처리할 수 있도록 확장될 수 있다고 제안합니다. 연구는 더 나은 디지털 패션 어시스턴트의 핵심이 더 복잡한 아키텍처를 구축하는 것이 아니라, 사람들이 입고 싶은 것을 설명할 때 사용하는 단어에 더 주의 깊게 귀를 기울이도록 가르치는 데 있다는 결론을 내립니다.