기술 요약: 합성-실사 스타일 전이를 위한 다목적 최적화

문제 정의

시맨틱 세그멘테이션 네트워크는 픽셀 수준의 주석(annotation)이 달린 방대한 데이터가 필요하지만, 실제 세계의 이미지(예: Cityscapes 이미지당 약 90분 소요)에 대해 이를 확보하는 것은 매우 비용이 많이 듭니다. GTA5와 같은 게임 엔진에서 생성된 합성 데이터는 자동 주석을 제공하지만, 이 데이터로 학습된 모델은 실제 시나리오에 적용될 때 "도메인 갭(domain gap)" 문제를 겪습니다. 확산 모델(diffusion models)을 사용하는 스타일 전이 기술을 포함한 기존의 도메인 적응 기법들은 수많은 단계로 구성된 복잡한 파이프라인을 수반합니다. 현재 어두게 하기(darkening), 선명하게 하기(sharpening), AdaIN, ControlNet과 같은 연산의 선택 및 순서는 수동으로 결정됩니다. 효과적인 스타일 전이 파이프라인을 찾기 위한 조합론적 탐색 공간은 매우 방대하며, 이로 인해 최적의 스타일 전이 파이프라인을 식별하는 것이 어렵습니다. 또한, 표준 분포 측정 지표(예: FID, CMMD)를 사용하거나 세그멘테이션 모델을 직접 학습하여 후보 파이프라인을 평가하는 것은 계산적으로 매우 비효율적입니다.

방법론

저자들은 스타일 전이 파이프라인 구축을 다목적 최적화(Multi-Objective Optimization, MOO) 문제로 정식화합니다. 목표는 도메인 갭(스타일 유사성)을 최소화하는 동시에 구조적 일관성(콘텐츠 보존)을 최대화하는 변환 시퀀스를 찾는 것입니다.

1. 문제 정식화 (TSP 변형)

파이프라인 선택은 수정된 **외판원 문제(Traveling Salesman Problem, TSP)**로 모델링됩니다.

• 노드(Nodes): 사용 가능한 각 데이터 연산자(예: Normalize, Brighten, AdaIN, CACTI, ControlNet)는 하나의 "도시"를 나타냅니다.
• 종료 노드(Terminal Node): 가변 길이의 솔루션을 허용하기 위해 특수한 STOP 노드가 도입됩니다. 알고리즘은 연산자의 부분 집합과 그 순서를 선택하며, STOP 노드를 만날 때 종료됩니다. 이 정식화는 오리엔티어링 문제(Orienteering Problem)와 유사하지만, 단계 수에 대한 엄격한 예산 제약은 없습니다.
• 탐색 공간(Search Space): 솔루션 공간은 진화적 탐색에 적합한 연산자들의 순열(permutations)로 구성됩니다.

2. 다목적 진화 알고리즘

저자들은 파이프라인을 진화시키기 위해 NSGA-II(Non-dominated Sorting Genetic Algorithm II)를 채택했습니다.

• 개체군(Population): 무작위 순열 샘플링을 통해 초기화됩니다.
• 연산자(Operators): 자손을 생성하기 위해 엣지 재결합 교차(edge recombination crossover)와 반전 변이(inversion mutation)가 사용됩니다.
• 목적 함수(Objectives):
  1. DISTS 최소화: 소스 이미지와 변환된 이미지 사이의 구조적 유사성을 측정하여 지면 진실(ground-truth) 주석이 유효하게 유지되는지 확인합니다.
  2. DreamSim 최소화: 변환된 이미지와 타겟 도메인 샘플(예: Cityscapes, ACDC) 사이의 지각적 스타일 유사성을 측정합니다.
• 평가 전략: 모든 후보에 대해 전체 데이터셋을 생성하거나 모델을 학습시키는 대신, 알고리즘은 소수의 쌍으로 된 이미지(paired images)(5개의 소스 이미지)를 사용하여 파이프라인을 평가합니다. 이는 분포 품질과의 상관관계를 유지하면서도 계산 비용을 획기적으로 줄여줍니다.

3. 연산자 및 데이터셋

• 소스(Source): GTA5 데이터셋.
• 타겟(Target): Cityscapes (맑은 날씨) 및 ACDC (악천후: 밤, 눈, 안개, 비).
• 변환 세트(Transformation Set): 6개의 전통적인 이미지 처리 연산(Blur, Brighten, Darken, Contrast, Sharpen, Normalize)과 3개의 딥러닝 기반 스타일 전이 연산(AdaIN, CACTI, ControlNet)을 포함합니다.

주요 기여

1. 정식화: 본 논문은 스타일 전이 파이프라인 선택을 진화적 최적화에 적합한 조합론적 시퀀싱 문제로 정식화하며, 이를 가변 길이 TSP 변형으로 취급할 것을 제안합니다.
2. 효율적인 지표: 쌍으로 된 이미지를 활용한 지표(DISTS 및 DreamSim)가 최적화를 위한 실행 가능한 대리 지표(surrogates)로서 유효함을 식별하고 검증했습니다. 이 지표들은 작은 샘플 크기에서도 빠르게 평가할 수 있어, 탐색 과정 중 분포 기반 지표 계산이나 모델 재학습에 드는 높은 비용을 피할 수 있게 해줍니다.
3. 다양한 솔루션: 본 접근 방식은 비지배 솔루션(non-dominated solutions)의 **파레토 프런트(Pareto front)**를 생성하여, 실무자들에게 단일한 "최적" 파이프라인이 아닌 콘텐츠 보존과 스타일 적응 사이의 다양한 트레이드오프 옵션을 제공합니다.

결과

• 최적화 수렴: 진화 알고리즘은 20세대 이내에 파레토 프런트로 성공적으로 수렴했습니다. 탐색 공간은 적절한 계산 예산(총 최적화 시간 13시간) 내에서 철저히 탐색될 만큼 충분히 작다는 것이 확인되었습니다.
• 파이프라인 특성:
  • 스타일 충실도(낮은 DreamSim)가 높은 파이프라인은 여러 변환과 딥러닝 연산자(예: ControlNet, CACTI)를 포함하는 등 더 복잡한 경향이 있었습니다.
  • 단순한 파이프라인(예: 단일 Sharpen 연산)은 콘텐츠를 잘 보존했지만 스타일 적응에는 실패했습니다.
  • 선택된 파이프라인들은 합성 외형에서부터 악천후 조건에서의 사실적인 스타일로 이어지는 명확한 진행 과정을 보여주었습니다.
• 지표 상관관계: 소규모 평가 세트(5개 이미지)에서 계산된 DISTS 및 DreamSim 값은 전체 생성 데이터셋(1250개 이미지)에 적용했을 때도 매우 일관되게 유지되었으며, 이는 쌍 기반 이미지 평가 전략의 효율성을 입증합니다.
• 다운스트림 성능 (세그멘테이션):
  • 생성된 데이터셋으로 학습했을 때, 진화된 파이프라인들은 ACDC 및 Cityscapes에서 다양한 mIoU 점수를 달rat했습니다.
  • 놀라운 발견: ControlNet만을 사용한 베이스라인 파이프라인이 대부분의 진화된 다중 연산 파이프라인보다 다운스트림 세그멘테이션 mIoU 측면에서 더 우수한 성능을 보였습니다.
  • 저자들은 진화된 파이프라인이 더 나은 지각적 스타일 매칭(낮은 DreamSim)을 달성했음에도 불구하고, 이것이 다운스트림 세그멘테이션 성능의 향상과 반드시 선형적으로 상관되지는 않는다는 점에 주목했습니다. ControlNet이 강력한 시맨틱 일관성을 유지하는 능력이 DreamSim이 포착하는 지각적 사실성보다 다운스트림 작업에 더 중요해 보였습니다.

의의 및 한계

본 논문은 진화 알고리즘이 스타일 전이 파이프라인 설계를 자동화하여 도메인 적응을 위한 다양한 옵션을 제공할 수 있음을 보여줍니다. 주요 의의는 접근 방식의 계산 효율성에 있습니다. 파이프라인 세트를 최적화하는 데 걸린 시간은 단일 파이프라인을 평가하기 위해 전체 데이터를 생성하는 데 걸리는 시간과 거의 동일했으며, 이를 통해 설계 공간을 빠르게 탐색할 수 있었습니다.

그러나 저자들은 자신들의 목적 함수 정식화에 대한 한계를 겸허히 인정합니다. DISTS/DreamSim 조합이 스타일 전이 품질을 효과적으로 평가하긴 했지만, 다운스트림 세그멘테이션 성능을 신뢰할 수 있게 예측하는 대리 지표로는 기능하지 못했습니다. 진화된 파이프라인들은 단순한 ControlNet 베이스라인의 mIoU를 따라잡지 못했습니다. 결론적으로, 향 에는 다운스트림 태스크 성능을 저렴하게 추정할 수 있는 지표를 식별하여, 보다 효과적인 도메인 적응을 위해 3개 목적 함수(스타일, 세그멘테이션 대리 지표, 계산 시간)를 구성하는 방향으로 연구가 진행되어야 한다고 제언합니다.