Scalable Question-Centric Text-to-Image Evaluation: Reliable Ranking, Fine-Grained Diagnosis, and Cost-Aware Routing

No mundo da inteligência artificial em rápida evolução, surgiu uma classe específica de software que pode conjurar imagens a partir de nada além de uma frase. Esses sistemas, conhecidos como modelos de texto para imagem, ouvem a descrição de um usuário — talvez "um gato vermelho sentado em um tapete azul" — e geram uma representação visual dessa cena. Durante anos, a principal maneira de julgar o quão bem essas máquinas funcionavam era olhar para a imagem final e atribuir-lhe uma pontuação única. Se a imagem parecesse boa no geral, o modelo era considerado forte. No entanto, à medida que essas ferramentas melhoraram, surgiu um problema: diferentes modelos frequentemente alcançam pontuações gerais semelhantes, embora possuam forças e fraquezas muito distintas. Um pode ser excelente em desenhar animais, mas terrível em renderizar texto, enquanto outro pode seguir instruções complexas perfeitamente, mas ter dificuldade com formas simples. Isso torna difícil para os usuários escolherem a ferramenta certa para um trabalho específico, pois um único número não consegue revelar os detalhes intrincados do que um modelo é realmente capaz de fazer.

Para resolver isso, uma equipe de pesquisadores da China Unicom introduziu uma nova maneira de testar esses sistemas chamada QC-T2I-Bench. Em vez de tratar um comando como um bloco único e indivisível, o método deles decompõe cada solicitação em uma série de perguntas minúsculas e específicas. Se um usuário pede um gato vermelho em um tapete azul, o sistema não pergunta apenas: "A imagem está boa?". Ele pergunta: "Existe um gato?", "O gato é vermelho?", "Existe um tapete?" e "O tapete é azul?". Crucialmente, os pesquisadores também mapeiam como essas perguntas dependem umas das outras. Eles reconhecem que, se o sistema falhar em desenhar o gato, ele não poderá possivelmente ter sucesso em desenhar o pelo vermelho do gato. Ao organizar essas perguntas em uma estrutura lógica, a equipe pode identificar exatamente onde um modelo falha e se essa falha é um erro básico ou um erro mais complexo que só acontece quando múltiplos requisitos são combinados.

Os pesquisadores testaram essa abordagem em treze geradores de imagens de código aberto diferentes, usando comandos em inglês e chinês. Eles descobriram que, embora alguns modelos tivessem um bom desempenho em tarefas simples, sua capacidade de lidar com solicitações complexas caía drasticamente à medida que o número de requisitos aumentava. Quando um comando continha requisitos para apenas duas capacidades diferentes, os modelos obtinham sucesso em criar uma imagem perfeita cerca de 80,7% das vezes. No entanto, quando a solicitação exigia sete ou mais capacidades distintas simultaneamente, a taxa de sucesso despencava para 37,2%. Esse declínio não foi apenas uma questão de adicionar mais erros; revelou que os modelos tinham grande dificuldade em manter todas as peças de um quebra-cabeça complexo juntas ao mesmo tempo. O estudo também mostrou que, ao compreender essas dependências, os pesquisadores puderam distinguir entre um modelo que simplesmente não consegue desenhar um objeto específico e um que consegue desenhar o objeto, mas falha quando solicitado a adicionar detalhes específicos a ele.

Além de simplesmente classificar os modelos, esse detalhamento permite uma aplicação mais prática: o roteamento consciente de custos. No mundo real, executar esses geradores de imagens em computadores potentes custa dinheiro e energia. Os pesquisadores demonstraram que os mesmos registros detalhados usados para diagnosticar erros poderiam ser usados para selecionar automaticamente o modelo mais eficiente para uma determinada tarefa, sem a necessidade de treinar um novo sistema. Ao analisar os requisitos específicos da solicitação de um usuário, seu sistema poderia escolher um gerador que fosse mais barato de operar, mas que ainda atendesse aos padrões de qualidade. Em seus testes, este método igualou o desempenho de um modelo de alto nível utilizando 21,3% menos poder computacional por imagem. Isso sugere que o futuro do uso dessas ferramentas reside não apenas em torná-las mais inteligentes, mas em usar uma compreensão mais profunda de suas capacidades específicas para combinar a ferramenta certa ao trabalho certo, economizando recursos enquanto mantém a alta qualidade.