DIFFCZSL: Compositional Zero-Shot Learning Regularized by Diffusion Representations

Imagine um mundo onde um computador pode olhar para a foto de uma maçã vermelha e uma foto de uma maçã verde, aprender o que "vermelho" e "verde" significam e, então, reconhecer instantaneamente uma "maçã verde" que nunca viu antes, mesmo que tenha sido treinado apenas em maçãs vermelhas. Este é o desafio do aprendizado zero-shot composicional, um ramo específico da inteligência artificial que questiona como as máquinas podem entender como conceitos simples se combinam para formar ideias novas e complexas. Por décadas, pesquisadores tentaram ensinar essa habilidade aos computadores mostrando-lhes milhares de exemplos, mas as máquinas frequentemente têm dificuldade quando solicitadas a misturar e combinar essas ideias de maneiras que não praticaram. Elas podem reconhecer o objeto, como uma banana, e o estado, como "madura", mas falham em entender que "banana madura" é uma realidade visual específica, diferente de ser apenas uma coisa "madura" ou uma "banana" em geral. A dificuldade central reside em ensinar a máquina a ver a relação entre as partes, e não apenas as partes em si.

Uma equipe de pesquisadores da Universidade de Ciência e Tecnologia de Hong Kong encontrou uma nova maneira de ajudar essas máquinas a aprender essa habilidade, não ensinando-lhes mais exemplos, mas emprestando um tipo diferente de inteligência. Eles descobriram que, embora os modelos de IA padrão sejam excelentes em distinguir uma imagem de outra, eles são às vezes desajeitados ao entender como os conceitos se misturam. Para corrigir isso, a equipe introduziu um ajudante "generativo" no processo de treinamento. Pense neste ajudante como um modelo que foi originalmente construído para criar imagens a partir de descrições de texto, em vez de apenas identificá-las. Ao permitir que a IA observe o funcionamento interno desse modelo de criação de imagens enquanto aprende, os pesquisadores conseguiram guiar o processo de aprendizagem em direção a uma compreensão mais profunda de como atributos e objetos se encaixam.

Os pesquisadores, liderados por Hangyu Tian e colegas, construíram um sistema que chamam de DIFFCZSL. A abordagem deles começa com um modelo de IA poderoso e pré-existente conhecido como CLIP, que é muito bom em combinar imagens com palavras. No entanto, a equipe notou que o CLIP às vezes trata uma "banana madura" apenas como uma banana que por acaso está perto da palavra "madura", em vez de um conceito unificado onde o amadurecimento altera a aparência da fruta. Para corrigir isso, eles adicionaram uma segunda etapa durante a fase de treinamento. Eles pegaram um modelo de geração de imagens pré-treinado, do tipo que consegue desenhar uma imagem quando você digita uma descrição, e pediram que ele olhasse para as mesmas imagens que a IA principal estava estudando. Este modelo de geração tem uma maneira única de ver o mundo; como ele precisa aprender a reconstruir uma imagem do zero baseada em texto, ele presta atenção especial em como detalhes específicos, como a textura de uma casca de banana ou a cor de uma maçã, interagem com o próprio objeto.

A equipe não substituiu a IA principal por este modelo de geração. Em vez disso, usaram o modelo de geração como um professor. Enquanto a IA principal tentava aprender, o modelo de geração fornecia dicas extras sobre a estrutura da imagem. Ele essencialmente sussurrava para a IA principal: "Olhe, quando você vê uma banana, o conceito de 'madura' não é apenas um rótulo separado; ele muda a forma visual e a cor da banana". Os pesquisadores extraíram essas dicas internas do modelo de geração e as alinharam com a compreensão da IA principal. Esse processo ocorreu apenas enquanto o computador estava aprendendo. Uma vez terminado o treinamento, o modelo de geração era removido, e a IA principal ficava com sua estrutura e velocidade originais, mas agora com uma capacidade muito mais aguçada de reconhecer novas combinações.

Os resultados deste experimento foram medidos através de três conjuntos diferentes de imagens, variando de sapatos a frutas a objetos cotidianos. Em todos os casos, os modelos de IA que receberam essa orientação extra tiveram um desempenho melhor do que aqueles que não a receberam. Em um conjunto de dados de sapatos chamado UT-Zappos, a equipe observou um salto significativo na precisidade, com os modelos identificando combinações inéditas com muito mais frequência. Por exemplo, ao serem questionados sobre identificar uma "maçã fatiada" ou uma "banana madura" em um novo contexto, os modelos guiados eram muito menos propensos a se confundir. A melhoria foi consistente, quer o teste fosse limitado a categorias conhecidas ou aberto a uma vasta gama de combinações possíveis. Os pesquisadores descobriram que os modelos tornaram-se melhores em equilibrar o conhecimento do que haviam visto antes com sua capacidade de adivinhar o que nunca tinham visto, uma habilidade crucial para aplicações do mundo real onde novas situações surgem constantemente.

Uma das descobertas mais impressionantes foi que essa melhoria veio sem desacelerar o computador ou torná-lo mais pesado. Como o modelo de geração foi usado apenas como um guia durante a fase de aprendizado e descartado depois, o sistema final rodou com a mesma velocidade do original. A equipe também testou se o tipo específico de modelo de geração importava, descobrindo que versões mais novas e avançadas forneciam uma orientação melhor do que as mais antigas. Eles até compararam seu método com outros tipos de modelos de IA poderosos e descobriram que a capacidade única do modelo de geração de entender como os conceitos se misturam era o fator chave, e não apenas o fato de ser um sistema grande e pré-treinado. O estudo sugere que a maneira como esses modelos de geração aprendem a criar imagens a partir de texto captura uma estrutura oculta do mundo que é perfeita para ensinar máquinas a combinar ideias.

Este trabalho destaca um caminho promissor para a inteligência artificial. Em vez de tentar construir um único modelo massivo que faça tudo perfeitamente, os pesquisadores mostraram que combinar as forças de diferentes tipos de modelos pode levar a melhores resultados. Ao deixar um modelo que cria imagens ensinar um modelo que as reconhece, eles preencheram uma lacuna na forma como os computadores entendem o mundo. As descobertas sugerem que o futuro da IA pode residir nessas colaborações, onde modelos generativos e discriminativos trabalham juntos para criar sistemas que não são apenas precisos, mas também profundamente compreensivos da natureza complexa e composta da realidade. A abordagem oferece uma maneira simples e eficaz de tornar as máquinas mais inteligentes sobre como as coisas se encaixam, sem adicionar qualquer carga extra às suas tarefas diárias.