Resumo Técnico: PromptSplit

Declaração do Problema

Modelos de IA generativa guiados por prompts (abrangendo visão e linguagem) proliferaram, mas métodos sistemáticos para comparar seus comportamentos em relação a prompts de entrada específicos permanecem limitados. Métricas de avaliação existentes, como FID, Inception Score e CLIP-Score, fornecem indicadores de qualidade agregados que comprimem o comportamento do modelo em valores escalares únicos. Essas métricas frequentemente obscurecem discrepâncias dependentes de prompt. Por exemplo, dois modelos podem gerar imagens de alta qualidade para um determinado prompt, mas divergir significamente no conteúdo ou no estilo da saída com base em categorias de prompts específicas (ex: um modelo gerando consistentemente figuras masculinas enquanto outro gera figuras femininas para o prompt "uma pessoa"). Os métodos atuais de comparação espectral e de distribuição operam tipicamente em um cenário livre de prompts, marginalizando sobre os prompts e falhando em isolar as categorias de entrada específicas responsáveis pela divergência de comportamento.

Metodologia

Os autores propõem o PromptSplit, um framework espectral não supervisionado e consciente de prompts, projetado para detectar e analisar o desacordo dependente de prompt entre dois modelos generativos.

1. Representação Conjunta de Prompt e Saída

O PromptSplit constrói uma representação conjunta ao formar embeddings de produto tensorial das características do prompt ($\phi_T$) e das características de saída ($\phi_X$ ou $\phi_Y$). Para um prompt $t$ e uma saída $x$, a característica conjunta é definida como:
$$\phi^\otimes(t, x) = \phi_T(t) \otimes \phi_X(x)$$
Isso induz um kernel de produto $k^\otimes([t, x], [t', x']) = k_T(t, t') \cdot k_X(x, x')$, capturando interações multiplicativas entre os espaços de entrada e saída.

2. Diferença de Covariância de Kernel

Para dois conjuntos de dados $D_X$ (de um modelo $X$) e $D_Y$ (de um modelo $Y$), o método calcula os operadores de covariância de kernel conjunta empírica $\hat{C}_{T \otimes X}$ e $\hat{C}_{T \otimes Y}$. O núcleo da análise é o operador de diferença de covariância:
$$\hat{\Lambda}_{X,Y|T} = \hat{C}_{T \otimes X} - \eta \hat{C}_{T \otimes Y}$$
onde $\eta$ é um hiperparâmetro. Os autovetores principais deste operador revelam as direções no espaço conjunto onde os dois modelos exibem as diferenças de comportamento mais significativas.

3. Truque de Kernel e Análise Espectral

A autodecomposição direta do operador de covariância de alta dimensão é computacionalmente inviável. Os autores aplicam o truque de kernel para formular uma matriz de kernel em bloco $K_{X,\eta Y|T}$ de tamanho $(n+m) \times (n+m)$, que compartilha os mesmos autovalores não nulos do operador de alta dimensão. Os autovetores desta matriz em bloco correspondem aos modos de desacordo no espaço conjunto.

4. Projeção Aleatória Escalável

Para lidar com conjuntos de dados de larga escala (onde $n, m$ excedem dezenas de milhares), o PromptSplit emprega uma aproximação por projeção aleatória. As características de tensor conjuntas são projetadas para uma dimensão inferior $r$ usando matrizes aleatórias Gaussianas. Isso reduz a complexidade computacional da decomposição espectral de $O((n+m)^3)$ para $O((n+m)r^2 + r^3)$.

• Garantia Teórica: O artigo prova que o desvio esperado da estimativa do autoespaço em relação ao resultado de dimensão total é limitado por $O(1/r^2)$, garantindo que a aproximação preserve as direções de desacordo com alta probabilidade.

Principais Contribuições

1. Formulação de Comparação ao Nível de Prompt: O trabalho formula a comparação de modelos como um problema espectral de prompt-saída conjunto, indo além de métricas agregadas para identificar categorias de prompts específicas que causam divergências de comportamento nos modelos.
2. Framework PromptSplit: Introdução de um framework baseado em kernel que acopla prompts e saídas via embeddings de produto tensorial para analisar o espectro de autovalores da diferença de covariância de kernel conjunta.
3. Aproximação Escalável: Desenvolvimento de um método de projeção aleatória que permite a análise de grandes conjuntos de dados com um limite de erro teórico de $O(1/r^2)$, tornando o método prático para a avaliação de modelos generativos do mundo real.
4. Interpretabilidade: O método fornece "modos" de desacordo interpretáveis, vinculando explicitamente clusters de prompts específicos à natureza da divergência de saída.

Resultados Experimentais

Os autores avaliaram o PromptSplit em configurações de texto-para-imagem (T2I) e texto-para-texto (LLM):

• Validação Sintética: Em ambientes controlados (ex: MNIST-M com desajustes conhecidos de prompt de cor/tons de cinza), o PromptSplit identificou com sucesso as categorias de prompt de verdade fundamental responsáveis pelo desacordo.
• Modelos de Texto-para-Imagem: Comparações entre Stable Diffusion XL, PixArt-Σ e Kandinsky revelaram divergências dependentes de prompt em estilo, composição e alinhamento. Por exemplo, o método identificou prompts de ocupação específicos (ex: "enfermeira", "carpinteiro") onde os modelos produziram representações visuais significativamente diferentes.
• Grandes Modelos de Linguagem (LLMs): Comparações entre Qwen 3 e Gemma 3 no dataset NQ-Open identificaram clusters distintos de perguntas (ex: sobre presidentes dos EUA ou atores) onde os modelos geraram respostas divergentes.
• Aplicação de Orientação: Os autores demonstraram o uso do PromptSplit para guiar o processo de difusão latente, alinhando com sucesso a distribuição das imagens geradas com um dataset de referência (ex: estilos de pintura específicos) ao incorporar o gradiente de desacordo no processo de amostragem.

Significância e Alegações

O artigo afirma que o PromptSplit oferece uma ferramenta principada e interpretável para detectar onde e como os modelos generativos discordam, preenchendo uma lacuna deixada pelas métricas de qualidade agregadas. Ao modelar explicitamente o espaço conjunto prompt-saída, ele isola as categorias de entrada específicas que impulsionam as diferenças de comportamento.

Os autores posicionam o PromptSplit como um método espectral de segunda ordem baseado em embeddings. Eles observam modestamente que, embora o design permita escalabilidade e interpretabilidade, o objetivo não é caracterizar todos os aspectos de ordem superior do comportamento generativo condicional. O trabalho é apresentado como um passo em direção a uma avaliação mais granular e condicionada a prompts do crescente ecossistema de modelos de IA generativa. A implementação está disponível publicamente para facilitar pesquisas adicionais neste domínio.