Is Large Language Model Performance on Reasoning Tasks Impacted by Different Ways Questions Are Asked?

1. Declaração do Problema

Embora os Modelos de Linguagem de Grande Porte (LLMs) sejam extensivamente avaliados em tarefas de raciocínio utilizando diversos benchmarks, há uma falta de compreensão sobre como o formato da pergunta (Resposta Curta, Múltipla Escolha, Verdadeiro/Falso) influencia o desempenho do modelo. Os benchmarks existentes frequentemente tratam esses formatos como intercambiáveis, no entanto, fatores como o número de opções, a posição da resposta correta e escolhas específicas de palavras podem introduzir vieses ou alterar o processo de raciocínio.

Os autores visam responder a cinco Questões de Pesquisa (RQs) específicas:

1. Os tipos de pergunta impactam a Precisão de Seleção Final (FS)?
2. Os tipos de pergunta impactam a Precisão de Raciocínio (a correção das etapas intermediárias)?
3. Quais são os padrões de saídas incorretas entre diferentes tipos de pergunta?
4. Quais fatores específicos em Questões de Múltipla Escolha (MCQs) influenciam o desempenho?
5. Quais fatores específicos em Questões Verdadeiro/Falso (TFQs) influenciam o desempenho?

2. Metodologia

Conjuntos de Dados e Tarefas

O estudo avalia LLMs em duas tarefas distintas de raciocínio:

• Raciocínio Quantitativo: Utilizando o conjunto de dados GSM8K (problemas de matemática em palavras do ensino fundamental).
• Raciocínio Dedutivo: Utilizando um subconjunto modificado do conjunto de dados bAbI (QA de fatos com fatos de suporte).
• Volume de Dados: 300 problemas foram selecionados aleatoriamente de cada conjunto de dados. Para o bAbI, dois fatos irrelevantes foram adicionados a cada problema para aumentar a complexidade.

Transformação de Tipos de Pergunta

Cada problema foi convertido em três formatos:

1. Questões de Resposta Curta (SAQ): O modelo gera as etapas de raciocínio e a resposta final.
2. Questões de Múltipla Escolha (MCQ): O modelo seleciona entre uma lista de opções.
   • Contagem de Opções: Testado com 5 opções e 11 opções.
   • Opção Especial: Incluída uma opção "Algo mais" (SEO) para testar se os modelos podem selecionar uma resposta fora dos valores numéricos fornecidos.
   • Posicionamento da Resposta Correta: Testadas três distribuições: Uniforme (U), Uniforme excluindo SEO (U-SEO) e Apenas SEO (oSEO).
   • Distratores: Respostas erradas foram geradas com margens de erro específicas (desvio de 5% ou 20%) ou geração aleatória de equações.
3. Questões Verdadeiro/Falso (TFQ): O modelo julga uma afirmação.
   • Formatos: Formato de "Pergunta" ("A resposta é X?") vs. Formato de "Afirmação" ("A resposta é X.").
   • Correção: Testado com tanto "Verdadeiro" quanto "Falso" como verdade fundamental.
   • Instruções: Testado com e sem uma instrução para "resolver primeiro" antes de responder.
   • Redação: Testado "Verdadeiro/Falso" vs. "Sim/Não".

Modelos Avaliados

Cinco LLMs foram testados:

• Código Fechado: GPT-4o, GPT-3.5-turbo.
• Código Aberto: Llama-3 8B, Llama-3.2 1B, Gemma 7B.
• Configuração: Decodificação gulosa (temperatura = 0), configuração zero-shot.

Métricas de Avaliação

1. Precisão de Seleção Final (FS): Correspondência automática de strings da saída final contra a verdade fundamental.
2. Precisão de Raciocínio: Avaliação manual das etapas intermediárias de raciocínio. Um critério rigoroso foi aplicado: todas as etapas de raciocínio devem estar corretas para que o raciocínio seja marcado como correto.

Análise Estatística

O teste de postos sinalizados de Wilcoxon pareado bilateral foi utilizado para determinar a significância estatística ($p < 0.05$) entre os tipos de pergunta.

3. Principais Contribuições

1. Design Abrangente de Benchmark: Um design experimental novel que varia sistematicamente as contagens de opções de MCQ (5 vs. 11), posições de respostas corretas e formulações de TFQ, abordando lacunas na literatura anterior.
2. Desacoplamento de Métricas: O estudo separa explicitamente a Precisão de Raciocínio da Precisão de Seleção Final, revelando que elas nem sempre correlacionam.
3. Descobertas Empíricas: Identificação de vieses específicos em LLMs, como sensibilidade à palavra "Algo mais", à posição das respostas corretas e à formulação de TFQs.
4. Código Aberto: Os autores disponibilizaram seu código e benchmark publicamente.

4. Principais Resultados

RQ1 & RQ2: Impacto do Tipo de Pergunta na Precisão

• Correlação FS vs. Raciocínio: Não há correlação consistente entre a precisão de raciocínio e a precisão de seleção final.
  • Observação: Os modelos frequentemente adivinham a resposta final correta apesar de um raciocínio falho (especialmente em MCQs e TFQs). Inversamente, os modelos às vezes derivam um raciocínio correto, mas falham em selecionar a opção correspondente (por exemplo, devido a erros de formatação ou mal-entendido sobre "Algo mais").
• Variância de Desempenho: Existem diferenças significativas na precisão de FS entre os tipos de pergunta.
  • SAQ vs. MCQ: SAQ geralmente supera MCQ, particularmente quando "Algo mais" é a resposta correta.
  • SAQ vs. TFQ: TFQs com "Falso" como resposta correta frequentemente resultam em maior precisão de FS do que SAQs para alguns modelos, sugerindo que os modelos podem adivinhar "Falso" mais facilmente do que derivar o número exato.

RQ3: Padrões de Saídas Incorretas

O estudo identificou padrões distintos de falha:

• Boa Adivinhação: Os modelos geram etapas de raciocínio incorretas, mas adivinham a resposta final correta (comum em TFQs).
• Proximidade: Os modelos calculam um valor próximo à resposta correta e selecionam a opção mais próxima, mesmo que o cálculo tenha sido ligeiramente errado.
• Mal-entendido de SEO: Os modelos lutam para selecionar "Algo mais" mesmo quando seu raciocínio indica que a resposta não está na lista; eles frequentemente forçam uma seleção da opção numérica mais próxima.
• Seleção Ausente: Os modelos completam o raciocínio corretamente, mas falham em gerar o token de seleção final.

RQ4: Fatores que Influenciam o Desempenho de MCQ

• Número de Opções: Aumentar as opções de 5 para 11 geralmente diminui a precisão de FS, particularmente para modelos menores (por exemplo, Gemma, Llama-1B). Isso sugere que os modelos podem estar adivinhando em vez de calcular.
• Posição da Resposta Correta: Os modelos performam melhor quando a resposta correta não é "Algo mais" (U-SEO). O desempenho cai significativamente quando "Algo mais" é a única opção correta (oSEO).
• Escolha de Palavras: Substituir "Algo mais" por "Nenhuma das anteriores" melhorou significativamente a precisão de FS para o GPT-3.5, indicando sensibilidade à redação das opções.

RQ5: Fatores que Influenciam o Desempenho de TFQ

• Pergunta vs. Afirmação: O formato de Afirmação ("A resposta é X") geralmente resulta em maior precisão de FS do que o formato de Pergunta ("A resposta é X?").
• Verdadeiro vs. Falso: Os modelos geralmente performam melhor quando "Verdadeiro" é a resposta correta, embora alguns modelos (GPT-3.5, Llama-8B) tenham mostrado maior precisão de FS com "Falso" em tarefas quantitativas.
• Redação (Sim/Não vs. Verdadeiro/Falso): Substituir "Verdadeiro/Falso" por "Sim/Não" causou uma queda estatisticamente significativa no desempenho (até ~26%) para o GPT-3.5, a menos que uma instrução "resolver primeiro" fosse fornecida.

5. Significado e Implicações

• Validade de Benchmarking: O estudo desafia a confiabilidade dos benchmarks atuais. Uma pontuação alta de um modelo em MCQs pode refletir adivinhação ou correspondência de padrões em vez de capacidades genuínas de raciocínio.
• Estratégia de Avaliação: Os pesquisadores não devem confiar apenas na precisão de Seleção Final. Avaliar a Precisão de Raciocínio é crucial para entender se um modelo está realmente resolvendo o problema ou apenas selecionando a opção correta.
• Engenharia de Prompt: A redação específica das opções ("Nenhuma das anteriores" vs. "Algo mais") e o formato das TFQs impactam significativamente o desempenho. Prompts padronizados e cuidadosamente projetados são necessários para uma avaliação justa.
• Direções Futuras: Futuros benchmarks devem levar em conta o viés das opções, o número de escolhas e a formulação específica das instruções para garantir que meçam raciocínio e não viés de seleção.

Em conclusão, o artigo demonstra que como uma pergunta é feita altera fundamentalmente o desempenho do LLM, frequentemente desacoplando a capacidade de raciocinar da capacidade de selecionar a resposta correta. Isso exige uma abordagem mais matizada para a avaliação de LLMs e o design de benchmarks.