Resumo Técnico: Quando Gradientes Colidem

Declaração do Problema

A personalização de juízes de Modelos de Linguagem de Grande Escala (LLM) para domínios específicos exige a otimização de prompts para satisfazer múltiplos critérios de avaliação simultaneamente (por exemplo, fluência, relevância, coerência, consistência). Embora métodos de gradiente textual (por exemplo, TEXTGRAD, OPRO) automatizem com sucesso a otimização de prompts para objetivos únicos, eles enfrentam uma barreira estrutural em configurações multiobjetivo. Diferentemente da aprendizagem multi-tarefa numérica, onde ferramentas de resolução de conflitos como PCGrad ou MGDA dependem de propriedades do espaço vetorial (magnitudes, produtos internos, subespaços lineares), os gradientes textuais são strings de linguagem natural. Consequentemente, os mecanismos existentes de resolução de conflitos multi-tarefa não podem ser aplicados diretamente. Além disso, trabalhos anteriores não estudaram sistematicamente como o feedback por tarefa interage dentro de uma única trajetória de gradiente textual para juízes LLM, deixando a viabilidade da otimização de prompts multi-critério desconhecida.

Metodologia

Os autores realizam um estudo empírico abrangente no conjunto de dados SUMMEVAL, um benchmark de meta-avaliação de sumarização com quatro critérios distintos (fluência, relevância, coerência, consistência). O estudo utiliza um pipeline de otimização de 4 estágios:

1. Modelo de Tarefa: Prevê pontuações para um lote de exemplos.
2. LLM de Perda: Critica as previsões contra a verdade fundamental para gerar perda em linguagem natural.
3. LLM de Gradiente: Agrega perdas em sugestões estruturadas de edição de instrução (gradientes textuais).
4. LLM Otimizador: Reescreve as instruções por tarefa do prompt com base no gradiente.

A variável experimental central é o modo de decomposição, parametrizado por um código de três letras (por exemplo, SSS, CCC) indicando se os estágios de Perda, Gradiente e Otimizador operam Separadamente (S) por tarefa ou Combinados (C) através de todas as tarefas conjuntamente. Os cinco modos testados são:

• TAREFA ÚNICA: Execuções de otimização independentes para cada tarefa.
• SSS: Todos os estágios separados por tarefa.
• SSC: Perda e Gradiente separados; Otimizador combina todos os gradientes.
• SCC: Perda separada; Gradiente e Otimizador combinam todas as tarefas.
• CCC: Todos os estágios operam conjuntamente em todas as tarefas.

O estudo avalia esses modos sob duas estratégias de validação: validação por MAE (aceitando atualizações apenas se o Erro Absoluto Médio em um conjunto retido não aumentar) e sem validação (aceitando todas as atualizações). O desempenho é medido pela correlação de posto de Spearman média por tarefa ($\bar{\rho}$) ao longo de 12 etapas de otimização em 3 execuções.

Para diagnosticar falhas, os autores introduzem duas métricas em nível de processo:

1. Especificidade do Gradiente: Uma pontuação (1–10) que mede o quanto um gradiente é direcionado a uma única tarefa versus ser genérico.
2. Adesão ao Feedback: Uma pontuação que mede o quão bem o LLM Otimizador segue as sugestões do LLM de Gradiente.

Principais Resultados

O estudo revela que a otimização de prompts multi-critério frequentemente estagna ou degrada o desempenho em comparação com o prompt genérico inicial:

• Falha na Otimização: Em 6 de 10 configurações (modos de decomposição × configurações de validação), o processo de otimização nunca superou o prompt inicial. O único modo multi-tarefa a mostrar uma melhoria modesta foi CCC com validação por MAE (+0,012 $\rho$), o que não foi estatisticamente significativo. Apenas a linha de base TAREFA ÚNICA com validação por MAE alcançou melhoria significativa (+0,031 $\rho$).
• Diluição do Gradiente: Quando o LLM de Gradiente processa múltiplos critérios conjuntamente (modos SCC, CCC), a especificidade do gradiente cai 59% (de uma média de 9,0 nos modos por tarefa para 3,7 nos modos em todas as tarefas). Apesar dessa queda, a adesão ao feedback permanece alta (7,8–8,8), indicando que o Otimizador incorpora fielmente sugestões genéricas e de baixa especificidade, levando a atualizações de prompt subótimas.
• Interferência de Instrução: Mesmo ao usar instruções de "oráculo" (as instruções por tarefa de melhor desempenho selecionadas independentemente), combiná-las em um único prompt multi-tarefa degrada o desempenho em −0,053 Spearman em comparação com a linha de base genérica inicial. Isso sugere que a interferência no tempo de inferência, provavelmente causada por assimetria no comprimento da instrução (rubricas verbosas dominando a atenção sobre as breves), impede a agregação de instruções individualmente ótimas.
• Indicador de Hipervolume (HVI): Embora a correlação média de Spearman estagnada, o HVI aumentou para o modo CCC, indicando que o otimizador descobriu prompts especialistas diversos que expandiram a fronteira de Pareto, mesmo que nenhum prompt único dominasse todas as tarefas simultaneamente.

Principais Contribuições

O artigo faz três contribuições primárias:

1. Estudo Empírico: Uma avaliação sistemática da otimização de gradientes textuais multi-critério através de cinco modos de decomposição, demonstrando que os métodos atuais falham em grande parte em melhorar sobre prompts genéricos em configurações multiobjetivo.
2. Diagnósticos em Nível de Processo: A introdução das métricas de especificidade do gradiente e adesão ao feedback, que localizam o gargalo na qualidade do sinal de gradiente em vez da conformidade do otimizador.
3. Identificação de Modos de Falha: O isolamento de dois modos de falha distintos:
   • Diluição do gradiente no tempo de otimização: A perda de sinal específico da tarefa quando múltiplos critérios são processados conjuntamente pelo LLM de gradiente.
   • Interferência de instrução no tempo de inferência: A degradação do desempenho quando instruções individualmente ótimas são combinadas em um único prompt, independentemente do processo de otimização.

Significado e Alegações

Os autores afirmam que esses resultados definem os limites do espaço de design para a otimização de juízes multiobjetivo usando feedback textual. O estudo demonstra que simplesmente estender métodos de gradiente textual de objetivo único para configurações multi-critério é insuficiente devido a incompatibilidades estruturais com a resolução de conflitos em espaço vetorial.

O significado reside em identificar que a falha não é meramente uma falta de poder de otimização, mas um problema fundamental de diluição de sinal e interferência de instrução. O artigo argumenta que, para que os praticantes personalizem confiavelmente juízes para critérios específicos de domínio, são necessárias mudanças arquitetônicas antes que a otimização de prompts multi-critério funcione de forma confiável. Especificamente, os autores sugerem que abordar apenas um modo de falha (por exemplo, melhorar a qualidade do gradiente) é insuficiente se a interferência no tempo de inferência permanecer, e vice-versa. O trabalho fornece um framework de diagnóstico para avaliar abordagens futuras e destaca que combinações ingênuas de instruções por tarefa são prejudiciais, necessitando de novas estratégias para lidar com feedback multi-critério em juízes LLM.