Resumo Técnico: Otimização Multiobjetivo para Transferência de Estilo de Sintético para Real

Declaração do Problema

Redes de segmentação semântica requerem dados anotados ao nível de pixel extensos, o que é proibitivamente caro de obter para imagens do mundo real (ex: ~90 minutos por imagem do Cityscapes). Embora dados sintéticos de motores de jogo como o GTA5 ofereçam anotações automáticas, os modelos treinados nesses dados sofrem de um "gap de domínio" quando aplicados a cenários do mundo real. Técnicas de adaptação de domínio existentes, particularmente aquelas que utilizam modelos de difusão para transferência de estilo, envolvem pipelines complexos com inúmeras etapas. Atualmente, a seleção e a ordenação dessas operações (ex: escurecimento, nitidez, AdaIN, ControlNet) são determinadas manualmente. O espaço de busca combinatória para pipelines de transformação de dados eficazes é vasto, tornando difícil a identificação de pipelines de transferência de estilo ideais. Além disso, avaliar pipelines candidatos usando métricas distributivas padrão (ex: FID, CMMD) ou treinando modelos de segmentação é computacionalmente proibitivo para otimização iterativa.

Metodologia

Os autores formulam a construção de pipelines de transferência de estilo como um problema de Otimização Multiobjetivo (MOO). O objetivo é encontrar uma sequência de transformações que minimize simultaneamente o gap de domínio (similaridade de estilo) enquanto maximiza a coerência estrutural (preservação de conteúdo).

1. Formulação do Problema (Variante do TSP)

A seleção do pipeline é modelada como uma variante modificada do Problema do Caixeiro Viajante (TSP).

• Nós: Cada operador de dados disponível (ex: Normalizar, Brilhar, AdaIN, CACTI, ControlNet) representa uma "cidade".
• Nó Terminal: Um nó especial STOP é introduzido para permitir soluções de comprimento variável. O algoritmo seleciona um subconjunto de operadores e uma ordenação, terminando quando o nó STOP é encontrado. Esta formulação é análoga ao Problema do Orienteiro (Orienteering Problem), mas sem uma restrição estrita de orçamento no número de etapas.
• Espaço de Busca: O espaço de solução consiste em permutações de operadores, adequadas para busca evolutiva.

2. Algoritmo Evolutivo Multiobjetivo

Os autores empregam o NSGA-II (Non-dominated Sorting Genetic Algorithm II) para evoluir os pipelines.

• População: Inicializada via amostragem de permutação aleatória.
• Operadores: Recombinação de crossover de aresta e mutação de inversão são usados para gerar descendentes.
• Objetivos:
  1. Minimizar DISTS: Mede a similaridade estrutural entre a imagem de origem e a imagem transformada para garantir que as anotações de ground-truth permaneçam válidas.
  2. Minimizar DreamSim: Mede a similaridade de estilo perceptual entre a imagem transformada e as amostras do domínio alvo (ex: Cityscapes, ACDC).
• Estratégia de Avaliação: Em vez de gerar datasets completos ou treinar modelos para cada candidato, o algoritmo avalia os pipelines em um pequeno conjunto de imagens pareadas (5 imagens de origem). Isso reduz drasticamente o custo computacional enquanto mantém a correlação com a qualidade distributiva.

3. Operadores e Datasets

• Origem: Dataset GTA5.
• Alvo: Cityscapes (dia claro) e ACDC (clima adverso: noite, neve, névoa, chuva).
• Conjunto de Transformação: Inclui 6 operações tradicionais de processamento de imagem (Blur, Brilho, Escurecimento, Contraste, Nitidez, Normalização) e 3 operações de transferência de estilo baseadas em deep learning (AdaIN, CACTI, ControlNet).

Principais Contribuições

1. Formulação: O artigo propõe formular a seleção de pipeline de transferência de estilo como um problema de sequenciamento combinatório adequado para otimização evolutiva, tratando-o como uma variante de TSP de comprimento variável.
2. Métricas Eficientes: Identifica e valida o uso de métricas de imagens pareadas (DISTS e DreamSim) como substitutos (surrogates) viáveis para otimização. Estas métricas permitem a avaliação rápida em pequenos tamanhos de amostra, evitando o alto custo de métricas distributivas ou retreinamento de modelos durante o processo de busca.
3. Soluções Diversas: A abordagem gera uma fronteira de Pareto de soluções não dominadas, oferecendo aos profissionais uma gama de trocas (trade-offs) entre preservação de conteúdo e adaptação de estilo, em vez de um único pipeline "melhor".

Resultados

• Convergência da Otimização: O algoritmo evolutivo convergiu com sucesso para uma fronteira de Pareto dentro de 20 gerações. O espaço de busca foi considerado pequeno o suficiente para ser explorado minuciosamente com um orçamento computacional modesto (13 horas de tempo total de otimização).
• Características dos Pipelines:
  • Pipelines com maior fidelidade de estilo (menor DreamSim) tenderam a ser mais complexos, envolvendo múltiplas transformações e operadores de deep learning (ex: ControlNet, CACTI).
  • Pipelines simples (ex: uma única operação de Nitidez/Sharpen) preservaram bem o conteúdo, mas falharam em adaptar o estilo.
  • Os pipelines selecionados demonstraram uma progressão clara do aspecto sintético para o estilo realista através de condições climáticas adversas.
• Correlação de Métricas: Os valores de DISTS e DreamSim computados no pequeno conjunto de avaliação permaneceram altamente consistentes quando aplicados aos datasets gerados completos (1250 imagens), validando a eficiência da estratégia de avaliação de imagens pareadas.
• Desempenho Downstream (Segmentação):
  • Quando treinados nos datasets gerados, os pipelines evoluídos alcançaram variados scores de mIoU no ACDC e Cityscapes.
  • Descoberta Surpreendente: Um pipeline de baseline usando apenas ControlNet superou a maioria dos pipelines multi-operadores evoluídos em termos de mIoU de segmentação downstream.
  • Os autores observam que, embora os pipelines evoluídos tenham alcançado melhor correspondência de estilo perceptual (menor DreamSim), isso não se correlacionou linearmente com a melhoria no desempenho de segmentação. A capacidade do ControlNet de manter uma forte coerência semântica pareceu mais crítica para a tarefa downstream do que o realismo perceptual capturado pelo DreamSim.

Significância e Limitações

O artigo demonstra que algoritmos evolutivos podem automatizar efetivamente o design de pipelines de transferência de estilo, fornecendo opções diversas para adaptação de domínio. A principal significância reside na eficiência computacional da abordagem; otimizar um conjunto de pipelines levou aproximadamente o mesmo tempo que avaliar um único pipeline usando geração de dados completa, permitindo uma exploração rápida do espaço de design.

No entanto, os autores reconhecem modestamente uma limitação em sua formulação de objetivos. Embora a combinação DISTS/DreamSim tenha avaliado efetivamente a qualidade da transferência de estilo, ela não serviu como um substituto confiável para o desempenho de segmentação downstream. Os pipelines evoluídos não igualaram o mIoU de um baseline simples de ControlNet. O artigo conclui que trabalhos futuros devem focar em identificar métricas que possam estimar de forma barata o desempenho da tarefa downstream, potencialmente levando a uma formulação de três objetivos (Estilo, Surrogato de Segmentação e Tempo de Computação) para uma adaptação de domínio mais eficaz.