Resumo Técnico: Pontuação Vendi Condicional

Declaração do Problema

Modelos de IA generativa, particularmente aqueles guiados por prompts de texto (ex: LLMs, modelos de texto-para-imagem e texto-para-vídeo), são predominantemente avaliados quanto à fidelidade (alinhamento com o prompt) e qualidade. Embora a diversidade seja uma métrica crítica para modelos generativos incondicionais, as medidas de diversidade existentes, como a pontuação Vendi e a Entropia de Núcleo de Rényi (RKE), são inadequadas para sistemas guiados por prompts.

As métricas atuais tratam toda a variabilidade em um conjunto de amostras geradas como uma única fonte. Elas falham em distinguir entre:

1. Diversidade induzida pelo prompt: Variabilidade decorrente das diferenças nos prompts de entrada (ex: gerar um "cachorro" vs. um "gato").
2. Diversidade induzida pelo modelo: Variabilidade decorrente da estocasticidade interna do modelo ao receber prompts similares ou idênticos (ex: gerar diferentes raças de cachorros para o mesmo prompt de "cachorro").

Essa confluência enviesa as comparações de diversidade. Um modelo pode parecer diverso simplesmente porque foi testado em uma ampla gama de prompts, mascarando uma falta de variabilidade interna, ou vice-versa. O artigo aborda a necessidade de uma avaliação de diversidade consciente do prompt que isole a variabilidade induzida pelo modelo.

Metodologia

Os autores propõem o Conditional-Vendi e o Conditional-RKE, pontuações de diversidade derivadas da entropia condicional de matrizes de núcleo (kernel) semidefinidas positivas (PSD).

Estrutura Teórica

A abordagem estende as definições informacionais da Vendi (entropia de von Neumann) e da RKE (entropia de Rényi de ordem 2) para o cenário condicional. Dado um conjunto de pares prompt-saída $\{(t_i, x_i)\}_{i=1}^n$, onde $T$ representa os prompts e $X$ representa as saídas:

• Matrizes de Núcleo (Kernels): O método constrói matrizes de núcleo normalizadas $K_X$ (para saídas) e $K_T$ (para prompts).
• Entropia Condicional: Define a entropia condicional da saída dado o núcleo do prompt usando o produto de Hadamard (elemento a elemento):
  $$H(X|T) = H(K_X \odot K_T) - H(K_T)$$
  onde $H(\cdot)$ denota a entropia baseada em matriz (von Neumann para Vendi, Rényi de ordem 2 para RKE).
• Decomposição: A pontuação de diversidade total decompõe-se em:
  $$\text{Vendi}(X) = \text{Conditional-Vendi}(X|T) \times \text{Information-Vendi}(X; T)$$
  Aqui, o Conditional-Vendi isola a diversidade das saídas dados os prompts (induzida pelo modelo), enquanto o Information-Vendi captura a informação mútua entre prompts e saídas.

Escalabilidade e Convergência

• Conditional-RKE: Os autores provam que o Conditional-RKE desfruta de uma taxa de convergência de $O(1/\sqrt{n})$ e é computacionalmente eficiente ($O(n^2)$) porque depende de normas de Frobenius, evitando a decomposição completa de autovalores. Ele não sofre com dependência de dimensão.
• Conditional-Vendi: A estimativa direta do Conditional-Vendi sofre da "maldição da dimensionalidade", com uma taxa de convergência dependente do produto das dimensões de característica dos núcleos de texto e imagem ($d_X d_T$). Para resolver isso, os autores introduzem uma aproximação de espectro truncado. Ao reter apenas os top-$t$ autovalores e renormalizá-los, eles alcançam um estimador escalável com uma taxa de convergência de $\tilde{O}(\sqrt{t/n})$, independente das dimensões de característica.

Aplicação: Orientação (Guidance)

O artigo estende estas métricas para a orientação (guidance) em modelos de difusão. Ao maximizar a pontuação Conditional-Vendi truncada durante o processo de amostragem (via ascensão de gradiente no espaço latente), o modelo é incentivado a gerar saídas que sejam diversas em relação à distribuição de prompts, em vez de serem apenas diversas no espaço ambiente.

Principais Contribuições

1. Métricas Conscientes de Prompt: Introdução do Conditional-Vendi e Conditional-RKE como as primeiras pontuações de diversidade especificamente projetadas para separar a variabilidade induzida pelo modelo da variabilidade induzida pelo prompt.
2. Garantias Teóricas: Estabelecimento de limites de convergência de amostra finita para ambas as pontuações. Notavelmente, a prova para o Conditional-RKE demonstra convergência independente da dimensão, enquanto o Conditional-Vendi truncado oferece uma alternativa escalável para embeddings de alta dimensão.
3. Método de Truncamento: Uma adaptação inovadora do truncamento do espectro de autovalores para o cenário condicional, permitindo a estimativa consistente para tarefas generativas de larga escala onde os tamanhos de amostra são limitados em relação às dimensões de embedding.
4. Validação Empírica: Avaliação abrangente em quatro domínios:
   • Texto-para-Imagem: Modelos incluindo Stable Diffusion XL, Flux e PixArt.
   • Texto-para-Vídeo: Modelos incluindo VideoCrafter, Show-1 e Open-Sora.
   • Legenda de Imagem: Modelos incluindo BLIP-2, GIT e GPT-4o-mini.
   • LLMs: Modelos incluindo Llama 2 e Gemma.
5. Mecanismo de Orientação (Guidance): Demonstração de que a orientação via Conditional-Vendi pode melhorar a diversidade das amostras em modelos de difusão, mantendo o alinhamento com o prompt (fidelidade).

Resultados

• Recuperação da Verdade Fundamental (Ground-Truth): Em experimentos controlados onde a ordenação da diversidade da verdade fundamental era conhecida (ex: variando o número de tipos de animais especificados nos prompts), as pontuações condicionais recuperaram com sucesso os rankings pretendidos. As pontuações incondicionais (Vendi/RKE padrão) falharam em distinguir entre a diversidade impulsionada pelo prompt e a impulsionada pelo modelo.
• Convergência: Experimentos com dados do MS-COCO mostraram que o Conditional-RKE e o Conditional-Vendi truncado convergem com tamanhos de amostra moderados (ex: ~15.000 amostras), enquanto o Conditional-Vendi não truncado falhou em convergir dentro de limites computacionais viáveis.
• Comparação de Modelos: As pontuações revelaram que diferentes modelos exibem níveis variados de diversidade intrínseca. Por exemplo, em texto-para-vídeo, o Open-Sora demonstrou maior diversidade condicional do que o VideoCrafter. Em LLMs, o aumento do parâmetro de temperatura correlacionou-se com o aumento das pontuações de Conditional-Vendi e RKE, refletindo uma maior diversidade de saída.
• Eficácia da Orientação: A aplicação da orientação Conditional-Vendi ao Stable Diffusion XL e PixArt resultou em maior diversidade de amostras (medida por Vendi e similaridade intra-lote) e melhor alinhamento com categorias de prompts em comparação com a orientação Vendi padrão, sem degradar o alinhamento texto-imagem (CLIPScore).

Significância e Alegações

O artigo afirma que o Conditional-Vendi e o Conditional-RKE fornecem uma evolução necessária na avaliação de modelos generativos. Ao isolar a diversidade induzida pelo modelo, estas métricas permitem que pesquisadores e profissionais possam:

• Avaliar com precisão a variabilidade intrínseca de um modelo generativo, independentemente da distribuição de prompts usada para os testes.
• Identificar se a "diversidade" de um modelo é meramente um resultado da ampla cobertura de prompts ou de capacidades genuínas de geração estocástica.
• Guiar processos generativos para saídas mais diversas que respeitem o contexto do prompt, abordando o "colapso de modo" (mode collapse) ou o determinismo excessivo frequentemente observados em modelos de difusão de alta fidelidade.

Os autores posicionam estas pontuações como uma ferramenta fundamental para a próxima geração de IA generativa condicionada a prompts, oferecendo uma abordagem rigorosa e informacional para um problema anteriormente abordado apenas por métodos heurísticos ou incondicionais.