Task-Dependent Evaluation of LLM Output Homogenization: A Taxonomy-Guided Framework

Título: Avaliação Dependente de Tarefa da Saída de LLM: Um Framework Guiado por Taxonomia para Homogeneização

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente geram saídas homogeneizadas (repetitivas e pouco diversas). No entanto, a literatura atual trata a homogeneização como um problema universal, sem considerar o contexto da tarefa.

• A Falha Atual: Métricas de diversidade existentes (como diversidade de vocabulário ou distância de embeddings) são "agnósticas à tarefa". Elas aplicam uma única definição de diversidade a todos os cenários.
• A Consequência:
  • Em tarefas objetivas (ex: matemática, fatos verificáveis), a homogeneização é desejável (a resposta deve ser a mesma), mas métodos atuais de promoção de diversidade podem forçar variações incorretas ou alucinações.
  • Em tarefas criativas (ex: escrita criativa, opiniões), a homogeneização é prejudicial (o modelo repete o mesmo enredo ou perspectiva), mas as métricas atuais podem não capturar a falta de diversidade funcional (significativa para o usuário), focando apenas em variações superficiais de palavras.
• O Risco: A falta de uma abordagem dependente da tarefa pode levar a modelos que distorcem fatos históricos ao tentar ser "diversos" em consultas enciclopédicas, ou que falham em oferecer perspectivas variadas em tarefas de aconselhamento.

2. Metodologia e Framework Proposto

Os autores propõem um framework que redefine a diversidade e a homogeneização com base na natureza da tarefa solicitada.

A. Taxonomia de Tarefas (8 Categorias)
O trabalho introduz uma taxonomia que classifica as tarefas com base na verificabilidade da recompensa e no tipo de diversidade funcional esperada:

1. Objetivo Bem-Especificado: Uma única resposta correta (ex: "Qual é a capital da França?"). Homogeneização desejada.
2. Objetivo Mal-Especificado: Múltiplas respostas corretas (ex: "Nomeie um país de língua espanhola").
3. Geração Aleatória: Variação sobre opções finitas (ex: "Role um dado").
4. Resolução de Problemas (Objetivo): Uma resposta correta, mas múltiplas estratégias de solução (ex: Matemática). Diversidade na estratégia, não na resposta final.
5. Resolução de Problemas (Subjetiva): Múltiplas soluções parciais ou corretas (ex: Design de uma sala).
6. Consulta Enciclopédica: Informações factuais com diferentes perspectivas credíveis (ex: "Por que Newton é famoso?").
7. Escrita Criativa: Expressão subjetiva infinita (ex: "Escreva um poema"). Diversidade em elementos criativos (trama, tom, gênero).
8. Aconselhamento ou Opiniões: Diferentes pontos de vista sobre um tópico (ex: "Qual é um bom presente?").

B. Técnica de Amostragem Dependente de Tarefa
Os autores desenvolveram um método de inferência que ajusta a geração do modelo:

1. Classificação: O prompt de entrada é classificado em uma das 8 categorias da taxonomia.
2. Instrução Contextualizada: O prompt é aumentado com instruções específicas sobre o que constitui "diversidade" para aquela categoria.
   • Exemplo para Matemática: "Gere N soluções diferentes, cada uma com uma estratégia de resolução distinta, mas mantenha a resposta final correta."
   • Exemplo para Criatividade: "Gere N respostas únicas variando elementos criativos-chave como tom, gênero e estrutura."
3. Execução: O modelo gera múltiplas respostas baseadas nessas instruções, preservando a homogeneização onde necessária e promovendo a diversidade funcional onde desejada.

C. Métricas de Avaliação
Em vez de usar apenas embeddings ou sobreposição de palavras, o framework utiliza Juízes LLM Guiados pela Taxonomia. Esses juízes avaliam se duas respostas são funcionalmente diferentes de acordo com a categoria da tarefa (ex: para matemática, avaliam se as estratégias são diferentes; para criatividade, avaliam se os temas são distintos).

3. Contribuições Principais

1. Taxonomia de Diversidade Funcional: Uma estrutura clara que operacionaliza o que significa "diversidade" para diferentes tipos de tarefas, distinguindo entre tarefas onde a variação é desejada e onde a consistência é crucial.
2. Validação Humana: Um estudo com 22 anotadores humanos confirmou que a taxonomia alinha-se com a percepção humana de diversidade funcional. Juízes LLM guiados pela taxonomia correlacionaram-se fortemente com humanos ($r_s = 0.93$), superando métricas gerais de embeddings ($r_s = 0.81$) e vocabulário ($r_s = 0.67$).
3. Técnica de Amostragem: Um método prático que aumenta a diversidade funcional em tarefas criativas e de opinião, enquanto preserva a homogeneização em tarefas factuais e de resolução de problemas.
4. Desafio ao Trade-off Diversidade-Qualidade: O trabalho demonstra que o suposto trade-off entre diversidade e qualidade é, em grande parte, um artefato de métricas mal conceituadas. Quando ambos são medidos de forma dependente da tarefa, é possível obter alta diversidade sem sacrificar a qualidade.

4. Resultados Experimentais

Os experimentos foram realizados em modelos como GPT-4o, Claude-4-Sonnet, Gemini-2.5-Flash, Llama-3.1 e Mistral-7B, utilizando benchmarks como Infinity-Chat, NoveltyBench e MATH-500.

• Aumento da Diversidade Funcional: A amostragem dependente de tarefa aumentou significativamente a diversidade funcional em tarefas onde ela é desejada (ex: escrita criativa e opiniões), gerando até 3.5x mais respostas funcionalmente distintas em comparação com a amostragem padrão de temperatura.
• Preservação da Homogeneização: Em tarefas de "Objetivo Bem-Especificado" (Categoria A), o método manteve a homogeneização (gerando a mesma resposta correta), ao contrário de métodos genéricos que forçavam variações incorretas.
• Melhoria em Benchmarks: Ao aplicar a técnica ao benchmark Infinity-Chat, a diversidade funcional aumentou substancialmente (ex: 1.8x a 2.4x), enquanto métricas de embeddings mostraram ganhos menores ou inconsistentes, provando que embeddings não capturam a diversidade funcional real.
• Redução do "Efeito Hivemind": A técnica reduziu a homogeneização entre modelos diferentes (inter-modelo), mostrando que modelos distintos passam a gerar perspectivas mais variadas quando guiados pela taxonomia.
• Qualidade Mantida: Ao usar checklists de avaliação baseados na tarefa, não houve queda significativa na qualidade das respostas ao aumentar a diversidade. O trade-off negativo observado em métricas gerais (como modelos de recompensa agnósticos) desapareceu.

5. Significado e Impacto

• Reavaliação de Benchmarks: O trabalho sugere que benchmarks de homogeneização atuais (como NoveltyBench e Infinity-Chat) podem estar superestimando ou subestimando a diversidade dependendo da mistura de tarefas, pois usam métricas agnósticas.
• Segurança e Ética: A abordagem evita danos de representação (representation harms). Por exemplo, impede que um modelo tente ser "diverso" ao inventar fatos históricos em consultas enciclopédicas, ou que repita estereótipos em tarefas de opinião.
• Futuro do Alinhamento: O framework pode ser integrado em processos de alinhamento (como RLHF ou DPO) para otimizar a diversidade de forma condicional, permitindo que modelos aprendam quando devem ser criativos e quando devem ser precisos e consistentes.
• Mudança de Paradigma: O artigo argumenta que a diversidade não é uma propriedade intrínseca do texto, mas uma relação entre o texto e a intenção da tarefa. Ignorar essa dependência leva a avaliações falhas e mitigação ineficaz da homogeneização.

Em resumo, o paper propõe que a solução para a homogeneização de LLMs não é forçar a aleatoriedade em tudo, mas sim entender a tarefa e aplicar o tipo correto de variação (ou consistência) para cada contexto.