Resumo Técnico: Manipulando o Comparador de Respostas (Gaming the Answer Matcher)

Declaração do Problema

A correspondência automatizada de respostas, que avalia respostas de texto livre contra uma resposta de referência utilizando Grandes Modelos de Linguagem (LLMs), oferece uma alternativa escalável à avaliação humana. No entanto, sua confiabilidade é ameaçada pelo potencial de estratégias de "manipulação" (gaming)—táticas de manipulação de texto projetadas para inflar artificialmente as pontuações sem melhorar a correção factual. Pesquisas anteriores indicam que os LLMs podem ser influenciados por pistas superficiais, como verbosidade, prompting de cadeia de pensamento (chain-of-thought) e pontuação. Este artigo investiga se os modelos de correspondência de respostas são vulneráveis a táticas específicas e de baixo custo de manipulação de texto: (1) gerar respostas verbosas, (2) incorporar múltiplas respostas (incluindo as conflitantes) quando houver incerteza, e (3) colocar a resposta correta no início da resposta enquanto a contradiz posteriormente.

Metodologia

O estudo emprega um fluxo de trabalho experimental sistemático envolvendo modelos "examinandos" que geram respostas e modelos "comparadores" que as pontuam contra a verdade fundamental (ground truth).

Datasets e Geração:
Os autores utilizaram subconjuntos do MMLU-Pro e GPQA Diamond, categorizados em domínios qualitativos e quantitativos. Para garantir que os modelos examinandos não pudessem ver as opções de referência durante a geração, perguntas que referenciavam opções de múltipla escolha (ex: "Qual das seguintes...") foram filtradas. Os datasets finais incluíram:

• MMLU-Pro Qualitativo (1.405 questões) e Quantitativo (1.962 questões).
• GPQA Diamond Qualitativo (106 questões) e Quantitativo (92 questões).

Modelos examinandos (GPT-4.1 mini e Qwen2.5-7B-Instruct) geraram respostas sob quatro condições:

1. Baseline (Base): Geração padrão.
2. Verbose (Verbosa): Adição de comprimento sem alteração de conteúdo.
3. Strategic (Estratégica): Inclusão de múltiplas respostas plausíveis quando houver incerteza.
4. Forward (Antecipada): Incorporação da resposta correta no início e de uma resposta contraditória ao final.

Correspondência e Pontuação:
Quatro modelos comparadores (GPT-4.1 mini, Qwen2.5-7B-IT, Qwen3-4B e Gemma-2-2B-IT) avaliaram as respostas usando dois paradigmas:

• Julgamento Binário: Atribuição de um "1" definitivo (correto) ou "0" (incorreto).
• Julgamento Contínuo: Atribuição de uma pontuação entre 0 e 1 para indicar correção parcial.

Métricas:

• Alinhamento Médio (Average Alignment): A pontuação média atribuída às respostas em cada condição.
• Taxa de Sucesso do Ataque (ASR): A proporção de instâncias onde uma resposta manipulada recebeu uma pontuação maior (ou um rótulo binário de "correto") em comparação com sua contraparte de baseline.
• d de Cohen: Uma medida do tamanho do efeito para determinar se as condições de ataque causaram julgamentos significativamente diferentes em relação aos baselines.

Resultados Principais

As descobertas do estudo contradizem amplamente as hipóteses iniciais de que a correspondência de respostas é facilmente manipulável.

1. Robustez Contra Manipulação: As estratégias de ataque propostas (verbosidade, ambiguidade estratégica e incorporação antecipada) não aumentaram as pontuações; em muitos casos, elas as reduziram significativamente. Os prompts de baseline superaram consistentemente os prompts de ataque com significância estatística (p < 0,05, frequentemente p < 0,001).
2. Valores Negativos de d de Cohen: Na maioria dos experimentos, os valores de d de Cohen foram negativos, indicando que as respostas atacadas tiveram um desempenho pior do que as respostas de baseline. O maior d de Cohen positivo observado foi 0,300, o que os autores caracterizam como uma confirmação da ausência de sucesso significativo do ataque.
3. Pontuação Binária vs. Contínua: O julgamento binário provou ser mais robusto a ataques do que o julgamento contínuo. As Taxas de Sucesso de Ataque (ASR) foram consistentemente mais altas sob pontuação contínua, sugerindo que a flexibilidade do crédito parcial permite mais leniência, enquanto o julgamento binário impõe um alinhamento mais rigoroso.
4. Anomalias Específicas do Modelo: Embora a maioria dos comparadores fosse robusta, o Gemma-2-2B-IT exibiu um comportamento anômalo, produzindo pontuações de precisão substancialmente infladas (ocasionalmente atingindo 1,0) em certos subconjuntos, particularmente ao atuar como um comparador binário no GPQA Diamond. Isso sugere que a robustez pode variar significamente conforme a família e o tamanho do modelo.
5. Comparação com LLM-as-a-Judge: Consistente com trabalhos anteriores, os comparadores de respostas funcionaram como avaliadores mais rigorosos do que as abordagens tradicionais de LLM-as-a-judge, que tendem a produzir precisões mais altas.

Principais Contribuições

• Investigação Sistemática de Manipulação (Gaming): O artigo fornece evidência empírica de que manipulações de texto simples e de baixo custo (verbosidade, ambiguidade, ordenação estratégica) falham em enganar os modelos de correspondência de respostas, desafiando a suposição de que esses modelos são facilmente influenciados pela apresentação em vez do conteúdo.
• Avaliação de Paradigmas de Julgamento: O estudo demonstra que a pontuação binária é uma defesa mais robusta contra a manipulação do que a pontuação contínua, ofereando uma métrica mais confiável para avaliações de alto risco.
• Análise de Sensibilidade do Modelo: O trabalho destaca que, embora a correspondência de respostas seja geralmente robusta, arquiteturas de modelos específicas (ex: Gemma-2-2B-IT) podem exibir perfis de robustez diferentes, indicando que a seleção do modelo é crítica para uma avaliação confiável.

Significância e Alegações

Os autores alegam que a correspondência de respostas é uma alternativa viável e robusta à avaliação humana e aos métodos tradicionais de LLM-as-a-judge, desde que as respostas de referência estejam disponíveis. As descobertas sugerem que:

• A correspondência de respostas é geralmente resistente à manipulação de texto de baixo custo, tornando-a uma ferramenta confiável para a validação de modelos pré-implantação.
• Sistemas de julgamento binário oferecem um framework de avaliação mais rigoroso e seguro em comparação com a pontuação contínua.
• O método é particularmente valioso para domínios de alto impacto (ex: medicina, direito) onde a comparação objetiva contra verdades conhecidas é necessária, e onde o aprendizado por preferência pode falhar em detectar saídas incorretas.

O artigo conclui de forma modesta, observando que, embora os resultados atuais sejam promissores, mais pesquisas são necessárias para testar a robustez contra adversários dinâmicos e otimizados, e para investigar se o tamanho do modelo influencia a robustez mais do que estratégias de ataque específicas.