No mundo moderno da inteligência artificial, os computadores tornaram-se notavelmente bons em duas coisas distintas: ver e falar. Por um lado, sistemas de visão podem olhar para uma fotografia e descrever o que está acontecendo com uma precisão surpreendente. Por outro, modelos de linguagem podem escrever histórias, responder perguntas e manter conversas ao processar vastas quantidades de texto. Recentemente, cientistas começaram a unir essas duas habilidades, criando sistemas que podem compreender uma imagem e uma frase ao mesmo tempo. Essas ferramentas híbridas, conhecidas como modelos de visão-linguagem, já conseguem realizar tarefas como responder perguntas sobre uma imagem ou escrever uma legenda para uma cena. No entanto, a maioria desses sistemas é treinada para olhar para uma única imagem e descrevê-la, ou para olhar para uma imagem e uma pergunta e fornecer uma resposta. Eles ainda não foram treinados para olhar para um par de imagens de "antes e depois" e descobrir exatamente o que mudou entre elas, especialmente quando essa mudança envolve ajustes específicos como brilho, contraste ou equilíbrio de cores.

Essa lacuna de compreensão é o foco de um novo estudo dos pesquisadores Vahid Azizi e Fatemeh Koochaki. Eles se propuseram a verificar se um poderoso modelo de visão-linguagem de código aberto chamado MiniGPT-4 poderia ser ensinado a realizar uma tarefa que eles chamam de "design reverso". Imagine que você tem uma foto de um pôr do sol e, em seguida, tem uma segunda versão dessa mesma foto onde o céu foi tornado mais alaranjado e a água mais escura. Um editor humano poderia saber exatamente quais controles deslizantes foram movidos para alcançar esse visual. Os pesquisadores queriam saber se um computador poderia olhar para o original e para a versão editada, talvez com uma dica vaga como "torne mais dramático", e então prever os passos técnicos e os números específicos usados para criar essa edição. Este é um desafio complexo porque o computador deve compreender simultaneamente duas imagens diferentes e a relação entre elas, uma tarefa que vai além de simplesmente descrever o que há em uma única imagem.

Para testar isso, os pesquisadores pegaram o modelo MiniGPT-4, que já era treinado para entender imagens e texto, e o ajustaram (fine-tuning) usando um conjunto de dados específico chamado I-MAD-Dense. Este conjunto de dados contém cerca de 22.000 exemplos, cada um consistindo em uma imagem de origem, uma versão editada dessa imagem e uma descrição de alto nível da ideia criativa por trás da edição. Crucialmente, o conjunto de dados também inclui o "ground truth" (verdade fundamental), que é a lista exata de operações e seus valores numéricos que foram aplicados à imagem original para criar a nova. Os pesquisadores converteram essas listas técnicas de operações em frases para que a parte de linguagem do modelo pudesse lê-las. Eles então alimentaram o modelo com pares de imagens junto com descrições textuais opcionais e pediram que ele previsse a lista de mudanças que transformou a primeira imagem na segunda.

A equipe realizou vários experimentos para ver quão bem o modelo poderia aprender essa habilidade. Em sua primeira tentativa, eles simplesmente ajustaram o modelo existente sem alterar sua estrutura. Os resultados mostraram que o modelo poderia aprender a tarefa, prevendo com sucesso os tipos de mudanças cerca de 72 por cento das vezes em média. No entanto, os pesquisadores notaram que o modelo às vezes adivinhava o número errado de mudanças ou errava ligeiramente os valores específicos. Para melhorar isso, eles tentaram adicionar uma penalidade matemática ao processo de treinamento sempre que os números previstos pelo modelo para os ajustes estavam muito distantes dos valores corretos. Esse pequeno ajuste ajudou o modelo a tornar os números mais precisos, reduzindo o erro médio em suas previsões. Eles também testaram se dar ao modelo um comando específico no texto, como "ajuste o brilho", ajudaria. Os resultados confirmaram que ter esse contexto textual extra melhorou significamente a capacidade do modelo de encontrar as mudanças corretas, especialmente quando as instruções eram claras.

Os pesquisadores também exploraram se adicionar marcadores especiais ao texto para separar as imagens das palavras ajudaria o modelo a manter o controle dos diferentes inputs. Eles tentaram inserir um token específico para sinalizar onde uma imagem terminava e a próxima começava, mas isso, na verdade, piorou o desempenho do modelo. Essa descoberta sugere que a forma existente do modelo de lidar com imagens e texto era suficiente e que adicionar marcadores artificiais extras o confundiu em vez de esclarecê-lo. Outro experimento envolveu tentar ensinar o modelo a prever o número de mudanças de forma mais precisa, penalizando-o por adivinhar muitas ou poucas, mas essa abordagem também falhou em melhorar os resultados e, em alguns casos, os tornou piores.

A versão mais bem-sucedida de seu sistema, que combinou o modelo ajustado com uma forma específica de lidar com erros numéricos, mostrou que esses modelos de visão-linguagem são, de fato, capazes de aprender relações complexas de múltiplas etapas entre imagens. O modelo teve o melhor desempenho quando recebeu uma descrição textual da edição, destacando a importância da linguagem para guiar a compreensão visual. Embora o sistema ainda não seja perfeito e ainda lute com alguns cenários complexos, o estudo demonstra que modelos prontos para uso (off-the-shelf) podem ser estendidos para lidar com tarefas sofisticadas como a engenharia reversa de edições de imagem. Os pesquisadores concluem que, embora seus resultados atuais sejam promissores, ainda há espaço para melhorias, como o uso de imagens de maior resolução para capturar detalhes mais finos ou o treinamento do modelo em dados gerados por humanos ainda mais cuidadosamente curados. Este trabalho abre uma porta para futuras ferramentas que poderiam ajudar editores a entender seus próprios fluxos de trabalho ou permitir que computadores aprendam com o histórico de como as imagens são criadas.