Resumo Técnico: Geração de Imagens de Anomalias sob a Orientação de um Grafo de Conhecimento

Declaração do Problema

No domínio da detecção de anomalias, os conjuntos de dados são frequentemente caracterizados por um desequilíbrio significativo de classes, contendo uma vasta maioria de imagens normais (sem defeitos) e uma escassez de amostras anormais (com defeitos). Abordagens tradicionais para lidar com esse desequilíbrio baseiam-se em aumentos geométricos de imagem (ex: rotação, inversão, escala) ou na elaboração manual de prompts de texto (TPs) para modelos generativos. No entanto, construir manualmente TPs que descrevam com precisão anomalias, suas localizações e tamanhos é um processo tedioso e propenso a erros que limita a diversidade e a quantidade de amostras geradas. Além disso, sem conhecimento prévio de especialistas, os prompts gerados manualmente podem falhar em respeitar as restrições físicas e as regras de coexistência específicas de certas classes de produtos e tipos de defeitos.

Metodologia

Os autores propõem o KG4IG, um framework projetado para construir automaticamente um grande volume de prompts de texto plausíveis ao alavancar o conhecimento prévio codificado em um Grafo de Conhecimento (KG). A abordagem integra um KG com um pipeline de geração de imagens baseado em difusão. A metodologia consiste nos seguintes componentes principais:

1. Grafo de Conhecimento para Anomalias (KGA)

A base da abordagem é uma ontologia específica do domínio construída para representar produtos, suas anomalias e as relações entre eles. O KGA é construído sobre três conjuntos de dados primários: MVTec-AD, VisA e MPDD. A ontologia define:

• Entidades e Classes: Incluindo Produto (composto por ProdutoNormal e ProdutoComDefeito), Defeito, TipoDeDefeito e CaracterísticasDoDefeito (profundidade, forma, tamanho).
• Relacionamentos: Definições formais como temDefeito, temCaixaDelimitadora e éAumentadoPor.
• Restrições: Regras lógicas que impõem validade, como impedir aumentos de cor que coincidam com a cor do produto ou restringir tipos de produtos específicos apenas a certas combinações de defeitos (ex: TipoDeProdutoA só pode ter TipoDeDefeitoD1 ou TipoDeDefeitoD2).
• Inferência: O sistema utiliza definições ontológicas para inferir novos tipos de relação não declarados explicitamente, aumentando a expressividade do grafo.

A ontologia compreende 59 classes, 38 propriedades de objeto e 109 propriedades de dados, permitindo a validação dos prompts do usuário contra as restrições do domínio.

2. Pipeline de Geração de Prompts

O sistema automatiza a criação de prompts de texto através de um processo de quatro etapas:

1. Extração de Subgrafo: A partir do KGA, o sistema extrai um subgrafo ($G_P$) contendo a classe de produto específica ($P$), tipos de defeitos associados ($D_P$) e atributos relevantes ($D_A$), como forma, tamanho, profundidade e localização.
2. Filtragem de Restrições: O sistema aplica restrições ($C$) derivadas do KG para eliminar combinações inválidas, como conflitos de cor ou coocorrências de defeitos não permitidas.
3. Síntese de Prompt: Para cada configuração válida de defeitos e atributos, o sistema constrói uma descrição em linguagem natural.
4. Diversificação: Variações linguísticas ou estruturais são aplicadas para gerar um conjunto diversificado de prompts a partir das configurações válidas.

3. Aprendizado e Geração do Modelo

Os prompts gerados servem como entradas para um modelo generativo de texto-para-imagem (especificamente um modelo de difusão). O modelo é treinado para alinhar as modalidades textual e visual, aprendendo as relações hierárquicas entre produtos e anomalias, seus atributos e restrições contextuais. O objetivo final é sintetizar imagens anômalas que respeitem a representação semântica espacial das anomalias definidas no KG.

Principais Contribuições

• Construção Automatizada de Prompts: O artigo introduz um método para substituir a engenharia de prompts manual por um sistema automatizado impulsionado por um Grafo de Conhecimento, capaz de gerar um "grande número" de prompts de texto plausíveis.
• Ontologia Específica do Domínio: O desenvolvimento de uma ontologia formal que captura terminologia específica do domínio, classes de produtos e as complexas relações e restrições que regem as anomalias.
• Geração Consciente de Restrições: A capacidade de impor restrições lógicas (ex: regras de coocorrência, conflitos de atributos) durante a fase de geração de prompts, garantindo que os prompts de texto resultantes sejam fisicamente e logicamente consistentes com o domínio alvo.
• Integração com Modelos de Fundação: Um pipeline que conecta conhecimento estruturado (KG) com modelos de difusão modernos, permitindo a geração de anomalias para objetos da mesma classe ou o aumento de objetos existentes.

Resultados e Alegações

O artigo foca primariamente no design arquitetônico e na construção do componente de Grafo de Conhecimento, em vez de apresentar extensos resultados experimentais quantitativos sobre métricas de qualidade de geração de imagem. Os autores alegam que sua abordagem:

• Reduz a dependência de aumentos de imagem tradicionais e da engenharia de prompts manual.
• Produz "prompts precisos e contextualmente relevantes" que refletem as características únicas de cada tipo de defeito.
• Permite a geração de imagens significativas ao respeitar as restrições de anomalia (ex: coocorrências de defeitos válidas).
• Fornece um pipeline extensível que pode ser integrado com modelos generativos de texto-para-imagem existentes para melhorar a qualidade do conteúdo gerado para tarefas de detecção de anomalias.

Significância

A significância deste trabalho reside em sua mudança do aumento baseado em dados para a geração baseada em conhecimento. Ao codificar o conhecimento especializado do domínio em um Grafo de Conhecimento, a abordagem aborda as limitações da elaboração manual de prompts e a falta de compreensão semântica nas técnicas de aumento padrão. Os autores postulam que este método leva a conjuntos de dados mais equilibrados e a um treinamento mais eficaz para modelos de detecção de anomalias, garantindo que as anomalias geradas não sejam apenas visualmente plausíveis, mas também semântica e logicamente consistentes com o domínio industrial ou de produto específico.