Resumo Técnico: Adaptação de HyperNet para Geração de Casos de Teste Baseada em Difusão (HyNeA)

1. Definição do Problema

A crescente implantação de sistemas de aprendizagem profunda (DL) exige uma avaliação sistemática de sua confiabilidade em cenários do mundo real. Ataques adversários tradicionais baseados em gradiente introduzem perturbações imperceptíveis que frequentemente não correspondem a falhas realistas, focando na robustez em vez do comportamento funcional. Embora os métodos de geração de testes generativos ofereçam uma alternativa ao sintetizar variações de entrada diversas, as abordagens existentes enfrentam limitações significativas:

• Escopo Limitado: Muitos são restritos a conjuntos de dados simples ou domínios de entrada limitados devido a restrições arquiteturais.
• Falta de Controlabilidade: Embora os modelos de difusão (DMs) permitam a síntese de imagens de alta fidelidade, sua aplicação para testes em larga escala é dificultada pelos altos custos computacionais e pela controlabilidade limitada.
• Dependência de Dados Curados: As abordagens atuais de difusão controlável (ex: ControlNet) dependem de conjuntos de dados de condicionamento curados a priori que pareiam explicitamente entradas com sinais de controle. Isso restringe a capacidade de gerar casos de teste para modos de falha não representados na distribuição de treinamento, que é um objetivo primário do teste de DL.

2. Metodologia: HyNeA

Os autores propõem o HyNeA (Adaptação de HyperNet), um método de teste generativo livre de conjuntos de dados que permite o controle direto e eficiente sobre a geração baseada em difusão sem exigir ajuste fino (fine-tuning) ou conjuntos de dados de condicionamento curados.

Arquitetura Central

O HyNeA baseia-se nos princípios arquiteturais do ControlNet, mas inverte fundamentalmente o mecanismo de controle:

• ControlNet (Padrão): Aprende um mapeamento global de entradas de condicionamento ($c$) para saídas guiadas ($X$) usando um conjunto de dados curado ($c \to X$).
• HyNeA (Proposto): Otimiza uma HyperNet em uma base por caso de teste para produzir sinais de condicionamento que induzam uma falha desejada no Sistema Sob Teste (SUT) ($X \to c$).

Componentes Principais

1. Sistema Sob Teste (SUT): O modelo de DL sendo avaliado (ex: classificador, detector de objetos).
2. Manipulador: Um Modelo de Difusão Latente (LDM) pré-treinado aumentado com uma HyperNet treinável (uma rede auxiliar). Os parâmetros da LDM base permanecem congelados; apenas os pesos da HyperNet são atualizados.
3. Projetor de Controle ($\phi_c$): Uma função treinável que projeta saídas arbitrárias do SUT (ex: logits de classificação, pontuações de detecção) em um sinal de controle espacial compatível com o espaço latente da imagem. Isso permite que previsões não espaciais do SUT guiem o processo de difusão.
4. Otimizador: Utiliza AdamW com um cronograma de taxa de aprendizado OneCycle para adaptar os pesos da HyperNet para cada instância específica de caso de teste.
5. Objetivos (Função de Perda): O objetivo de treinamento é orientado pelo comportamento, em vez de ser baseado em reconstrução. Ele combina:
   • Fidelidade Visual: Uma perda de distância de Frobenius ($\omega_{dF}$) para garantir que a imagem gerada permaneça estruturalmente semelhante à original.
   • Direcionamento de Comportamento: Perdas específicas de tarefa (Entropia Cruzada para classificação, Entropia Cruzada Binária para atributos, Entropia Cruzada de Redução de Média para detecção de objetos) que direcionam a saída do SUT para um estado de falha alvo.

Estratégia de Treinamento

Ao contrário do treinamento padrão do ControlNet, que minimiza o erro de reconstrução sobre um conjunto de dados, o HyNeA realiza o back-propagation da perda da imagem final gerada através do processo de difusão para os pesos da HyperNet. Essa adaptação instância por instância elimina a necessidade de pares origem-destino, permitindo a geração de casos de teste que induzem falhas mesmo quando não existem exemplos explícitos de tais falhas nos dados de treinamento.

3. Principais Contribuições

• Método de Teste: Introdução do HyNeA, uma nova abordagem que permite a geração de entradas controláveis e livres de conjuntos de dados via adaptação de HyperNet específica por instância. Ele evita a necessidade de conjuntos de dados de condicionamento curados ou retreinamento em larga escala.
• Avaliação Empírica: Um estudo abrangente em múltiplas tarefas de visão (classificação multiclasse, classificação de atributos binários e detecção de objetos) demonstrando que o HyNeA gera casos de teste realistas e semanticamente coerentes que revelam falhas de modelo mais informativas do que as linhas de base existentes.

4. Resultados Experimentais

Os autores avaliaram o HyNeA contra linhas de base de última geração: Mimicry (interpolação de latente baseada em StyleGAN) e GIFTbench (perturbação de latente baseada em difusão).

Eficácia (RQ1)

• Indução de Falha: O HyNeA alcançou uma taxa de erro de classificação de 100% em todas as tarefas (ImageNet, CelebA, Driving), induzindo falhas com sucesso no SUT.
• Controlabilidade: O HyNeA demonstrou controle superior com uma Taxa de Escape de 0.00 para o ImageNet (significando que falhas direcionadas foram induzidas sem afetar características não relacionadas), comparado a 0.52 para o Mimicry e 0.84 para o GIFTbench.
• Diversidade: O HyNeA gerou casos de teste com maior diversidade de embedding e menor diferença de traço (mudança semântica) em comparação com as linhas de base.

Eficiência (RQ2)

• Orçamento Computacional: O HyNeA foi significativamente mais eficiente, exigindo ordens de magnitude menos avaliações do SUT. No ImageNet, o HyNeA usou ~25 avaliações comparado a ~2.500 para o Mimicry e ~700 para o GIFTbench.
• Tempo de Execução: Embora os tempos de relógio variem por tarefa, a extrapolação dos orçamentos de avaliação sugere que um Mimicry aumentado por difusão incorreria em um tempo de execução 5 a 10 vezes maior que o do HyNeA.

Validade (RQ3)

• Realismo: Avaliadores humanos classificaram as imagens geradas pelo HyNeA como até 90% mais realistas do que as linhas de base.
• Preservação de Rótulo: O HyNeA preservou o rótulo da classe original em 78.7% dos casos (comparado a 28.7% para o Mimicry e 46.3% para o GIFTbench), indicando que as falhas induzidas foram erros reais do modelo em vez de mudanças semânticas na entrada.
• Qualidade Visual: O HyNeA produziu imagens com 40–100% menos degradação visual (medida por MS-SSIM e LPIPS) em comparação com métodos existentes.

Sensibilidade (RQ4)

• O estudo analisou o impacto das taxas de aprendizado. Taxas de aprendizado pequenas aumentaram o tempo de execução sem melhorar a qualidade, enquanto taxas maiores reduziram o tempo de execução, mas degradaram a fidelidade visual. Um cronograma de compensação específico foi identificado para equilibrar realismo, preservação estrutural e eficiência.

5. Significância e Alegações

O artigo afirma que o HyNeA aborda a lacuna crítica no teste de DL, onde os métodos generativos existentes carecem de controlabilidade ou exigem quantidades irreais de dados curados. Ao inverter o paradigma do ControlNet, o HyNeA permite:

1. Teste Livre de Conjunto de Dados: A capacidade de gerar casos de falha direcionados sem precisar de um conjunto de dados que contenha explicitamente essas falhas.
2. Controle Fino: Manipulação precisa de atributos ou comportamentos específicos (ex: suprimir uma detecção de objeto específica) enquanto mantém a integridade semântica geral da cena.
3. Escalabilidade: Aplicabilidade a domínios complexos e de alta dimensão, como direção autônoma (detecção de objetos), onde métodos tradicionais baseados em prompts ou perturbação de latente lutam para manter a coerência.

Os autores concluem que o HyNeA fornece um framework prático, eficiente e eficaz para gerar casos de teste realistas que expõem comportamentos não antecipados do modelo, avançando assim a avaliação sistemática da confiabilidade da aprendizagem profunda.