Resumo Técnico: Diversos LLMs ou Diversas Interpretações de Perguntas?

Declaração do Problema

A integração de diversidade em sistemas de aprendizado de máquina é uma estratégia bem estabelecida para melhorar a robustez e o desempenho, particularmente em métodos de ensemble onde os componentes falham de maneiras complementares. No entanto, no contexto de Modelos de Linguagem de Grande Escala (LLMs), aproveitar efetivamente a diversidade permanece desafiador. Abordagens tradicionais de ensemble frequentemente dependem de diversidade de modelos, agregando saídas de múltiplos LLMs distintos. Uma limitação crítica dessa abordagem é que LLMs desenvolvidos independentemente podem compartilhar dados de treinamento subjacentes ou vieses arquitetônicos, levando a erros positivamente correlacionados que limitam os ganhos de precisão.

Este artigo aborda a questão de pesquisa: "A diversidade na interpretação de perguntas pode servir como uma alternativa eficaz à diversidade de modelos?" Os autores investigam se gerar múltiplas interpretações semânticas de uma única pergunta e agregar as respostas de um único modelo produz um desempenho melhor do que agregar respostas de múltiplos modelos em uma única interpretação.

Metodologia

O estudo compara duas estratégias de ensemble para responder a perguntas binárias (Sim/Não) em três conjuntos de dados: BoolQ, StrategyQA e PubMedQA.

1. Abordagens de Diversidade

• Diversidade de Modelos: Três LLMs distintos respondem à mesma pergunta usando uma única interpretação fixa. A resposta final é determinada por votação majoritária.
• Diversidade de Interpretação de Perguntas: Um único LLM gera três interpretações semânticas distintas da mesma pergunta. O modelo então responde a cada interpretação individualmente. A resposta final é determinada por votação majoritária entre essas interpretações.

2. Configuração Experimental

• Modelos: O estudo avalia tanto modelos comerciais (GPT-3.5-turbo, GPT-3.5-turbo-instruct, GPT-4 da OpenAI) quanto modelos de pesos abertos (LLaMA-2-7b, LLaMA-3-8B, LLaMA-3-8B-Instruct).
• Estratégia de Prompting:
  • Para gerar interpretações sem introduzir variabilidade de modelo, um único modelo (GPT-3.5-turbo) é usado com um prompt específico (pmulti-step1) para produzir pelo menos três interpretações semânticas distintas.
  • Cada modelo no ensemble então responde às interpretações específicas usando um segundo prompt (pmulti-step2) que instrui o modelo a reafirmar a interpretação, fornecer fatos relevantes e resumir a resposta como <answer>Yes</answer> ou <answer>No</answer>.
• Extração e Validação de Respostas:
  • As saídas brutas dos LLMs são processadas por meio de heurísticas de extração (Match First e Match Pattern) para normalizar as respostas em um conjunto de respostas resumidas: {yes, no, none, depends, unclear}.
  • Uma pontuação de correção é computada comparando a resposta extraída com a verdade fundamental (ground truth).
• Consenso do Ensemble: A votação majoritária é aplicada às respostas resumidas dos membros do ensemble (sejam interpretações diferentes ou modelos diferentes) para determinar a saída final.

Principais Resultados

Os experimentos demonstram que a Diversidade de Interpretação de Perguntas supera consistentemente a Diversidade de Modelos em termos de precisão do ensemble.

1. Comparação de Desempenho

• Diversidade de Interpretação: A votação entre interpretações diversas melhorou consistentemente a precisão em comparação com a linha de base (perguntas diretas) e frequentemente superou o desempenho do melhor membro individual do ensemble. Isso foi particularmente pronunciado para ensembles baseados em LLaMA nos conjuntos de dados BoolQ e StrategyQA.
• Diversidade de Modelos: A votação entre modelos diversos tipicamente produziu resultados que ficaram entre o melhor e o pior membro individual do ensemble. Raramente forneceu uma melhoria significativa sobre o melhor modelo único e, em alguns casos (por exemplo, modelos LLaMA no PubMedQA), resultou em desempenho inferior ao do melhor membro.

2. Achados Quantitativos

• Diferença de Precisão: Ao comparar a precisão do ensemble contra o melhor membro individual:
  • Diversidade de Modelos: Mostrou diferenças médias de precisão negativas (-3,73 para ChatGPT, -10,53 para LLaMA), indicando que o ensemble frequentemente teve desempenho inferior ao do melhor modelo único.
  • Diversidade de Interpretação: Mostrou uma diferença média de precisão de -1,35 para ChatGPT e uma positiva de +11,12 para LLaMA, indicando que a diversidade de interpretação trouxe consistentemente o ensemble mais próximo ou acima do desempenho do melhor membro individual.
• Especificidades do Conjunto de Dados: A vantagem da diversidade de interpretação foi mais significativa para modelos LLaMA de pesos abertos, sugerindo que variar a estruturação semântica de uma pergunta é um mecanismo mais eficaz para correção de erros do que variar a arquitetura ou os pesos do modelo.

Significado e Alegações

O artigo alega ser o primeiro trabalho a comparar diretamente a diversidade de modelos e a diversidade de interpretação de perguntas em ensembles baseados em LLMs.

• Contribuição Primária: Os autores estabelecem que, para tarefas de QA binária, a diversidade na interpretação de perguntas é uma escolha de design mais eficaz do que a diversidade de modelos. Essa abordagem permite ganhos de desempenho usando um único modelo, simplificando assim o desenvolvimento ao permitir o ajuste focado e a engenharia de prompts sem o custo de gerenciar múltiplos modelos distintos.
• Implicação Teórica: Os resultados sugerem que a "diversidade de falhas" necessária para ensembles robustos pode ser alcançada variando o contexto semântico da entrada (interpretação) em vez de confiar na diversidade arquitetônica, que pode sofrer de padrões de falha compartilhados.
• Modéstia nas Alegações: Os autores reconhecem limitações, observando que o estudo é restrito a perguntas binárias e conjuntos de dados específicos. Eles não alegam aplicabilidade universal a tarefas de geração aberta, observando que a validação de respostas para perguntas não binárias exigiria heurísticas diferentes (por exemplo, similaridade semântica). Além disso, eles observam que a sobrecarga de gerar interpretações introduz latência, e a escalabilidade de adicionar mais interpretações versus mais modelos permanece uma questão em aberto.

Em conclusão, o artigo argumenta que aproveitar a diversidade no tempo de inferência por meio da interpretação de perguntas é uma estratégia superior e mais eficiente para aumentar a precisão de ensembles de LLMs do que confiar apenas na diversidade de modelos.