💬 NLP

Models Know Models Best: Evaluation via Model-Preferred Formats

Este artigo propõe uma estratégia de alinhamento de formato dinâmico que utiliza um classificador leve treinado em sinais preferidos pelo modelo para selecionar automaticamente entre formatos de avaliação baseados em símbolos e de estilo cloze, resolvendo assim discrepâncias de desempenho e melhorando significativamente a precisão zero-shot em vários benchmarks de LLM.

Autores originais: Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Publicado 2026-02-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Joonhak Lee, Sungmok Jung, Jongyeon Park, Jaejin Lee

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está fazendo um teste para provar o quão inteligente você é. Agora, imagine que o teste vem em dois estilos diferentes:

O Estilo "Múltipla Escolha": Você lê uma pergunta e, em seguida, tem que escolher uma letra (A, B, C ou D) que corresponda à resposta.
O Estilo "Preenchimento de Lacuna": Você lê uma frase que termina abruptamente e tem que completar a frase com as palavras certas.

Por muito tempo, pesquisadores pensaram que esses dois estilos eram apenas formas diferentes de fazer a mesma pergunta. Mas este artigo, intitulado "Models Know Models Best" (Modelos Conhecem Melhor os Modelos), descobriu algo surpreendente: Os Grandes Modelos de Linguagem (LLMs) não gostam dos dois estilos igualmente. Na verdade, o estilo que você escolhe pode fazer um modelo parecer um gênio ou um fracasso total, mesmo que a pergunta seja exatamente a mesma.

Aqui está a análise do que os autores descobriram, usando algumas analogias simples.

1. O Problema da "Ferramenta Errada para o Trabalho"

Os pesquisadores testaram 22 modelos de IA em 8 tipos diferentes de perguntas. Eles encontraram um padrão claro:

O Estilo "Símbolo" (Escolher A, B, C, D): Isso funciona melhor para perguntas que exigem a comparação de opções. Pense nisso como um cardápio onde você tem que olhar uma lista de pratos e escolher o que se ajusta à sua dieta. O modelo tem que olhar todas as opções lado a lado para fazer uma escolha.
O Estilo "Cloze" (Preenchimento de lacuna): Isso funciona melhor para perguntas que exigem a continuação de uma história. Pense nisso como terminar uma frase em um romance. O modelo é treinado para prever qual palavra vem a seguir em um fluxo natural.

O Problema: Quando os pesquisadores forçaram um modelo de "contar histórias" a escolher uma letra de uma lista (estilo Símbolo) para uma pergunta que era, na verdade, sobre terminar uma frase, a pontuação do modelo desabou. Foi como pedir a um maratonista para resolver uma equação matemática; eles são bons em correr, mas o formato do teste não correspondia à sua força.

2. Humanos Não Conseguem Adivinhar o Melhor Formato

Os autores primeiro tentaram corrigir isso pedindo a humanos que olhassem para uma pergunta e decidissem: "Ei, esta aqui parece uma história, então vamos usar o estilo de Preenchimento de lacuna".

O Resultado: Não funcionou bem. Os humanos são ruins em adivinhar qual formato um IA preferirá. Às vezes, uma pergunta parece uma história para um humano, mas a IA na verdade prefere a lista de múltipla escolha. Confiar na intuição humana frequentemente fazia a IA performar pior.

3. A Solução: "Pergunte ao Modelo o Que Ele Quer"

Como os humanos não conseguiam adivinhar o formato correto, os autores perguntaram aos próprios modelos.

Eles construíram um "guarda de trânsito" (classificador) minúsculo e leve. Esse guarda de trânsito olha para uma pergunta específica e pergunta à IA: "Se eu te der esta pergunta como uma lista de múltipla escolha, o quão confiante você está? Se eu te der como um preenchimento de lacuna, o quão confiante você está?"

Com base nos próprios sinais de confiança interna da IA, o guarda de trânsito decide qual formato usar para aquela pergunta específica.

Se a pergunta é sobre comparar opções: O guarda de trânsito diz: "Use o formato de Múltipla Escolha (Símbolo)".
Se a pergunta é sobre terminar uma frase: O guarda de trânsito diz: "Use o formato de Preenchimento de Lacuna (Cloze)".

4. Os Resultados: Desbloqueando o Potencial Escondido

Quando usaram essa estratégia de "Preferência do Modelo", os resultados foram dramáticos.

Para perguntas de "História": O desempenho da IA saltou significamente. Foi como se finalmente tivessem dado os sapatos certos ao corredor.
Para perguntas de "Comparação": O desempenho permaneceu alto ou melhorou ligeiramente.
A Grande Conclusão: O artigo mostra que muitos modelos de IA são, na verdade, muito mais inteligentes do que pensávamos, mas muitas vezes os estávamos testando com a "régua" errada. Ao trocar a régua para combinar com a tarefa específica, podemos ver suas verdadeiras capacidades.

Resumo

O artigo argumenta que não devemos apenas escolher um formato de teste e mantê-lo para tudo. Em vez disso, devemos deixar a IA nos dizer qual formato ela prefere para cada problema específico. Ao fazer isso, paramos de atrapalhar os modelos e começamos a ver o quão inteligentes eles realmente são.

Em resumo: O artigo prova que a maneira como você faz uma pergunta importa tanto quanto a própria pergunta, e a melhor maneira de descobrir a forma certa de perguntar é ouvir as próprias preferências do modelo.

Resumo Técnico: Modelos Conhecem Melhor os Modelos: Avaliação via Formatos Preferidos pelo Modelo

Declaração do Problema

O questionamento de múltipla escolha (MCQA) é o padrão de fato para avaliar Grandes Modelos de Linguagem (LLMs). No entanto, estudos recentes indicam que o desempenho do modelo em MCQA é altamente sensível à formatação da entrada, particularmente na escolha entre formatos de avaliação baseados em símbolos e de estilo cloze.

Baseado em símbolos: O modelo seleciona uma opção gerando um rótulo (ex: "A", "B", "C", "D") correspondente a uma lista de escolhas.
Estilo cloze: O modelo avalia a probabilidade do próprio texto da resposta quando este é anexado ao prompt, muitas vezes exigindo normalização de comprimento.

Pesquisas existentes destacam discrepâncias significativas de desempenho entre esses dois formatos, mas as causas subjacentes permanecem mal compreendidas. Crucialmente, não está claro se essas discrepâncias são estocásticas ou sistemáticas, e se heurísticas projetadas por humanos podem prever de forma confiável o formato ideal para uma determinada tarefa. Os protocolos de avaliação atuais frequentemente dependem de um único formato fixo, potencialmente subestimando as verdadeiras capacidades dos LLMs devido ao desalinhamento entre formato e tarefa.

Metodologia

O artigo propõe uma estratégia de alinhamento dinâmico de formato que seleciona o formato de avaliação ideal para cada instância de problema com base nas próprias preferências latentes do modelo, em vez da intuição humana.

1. Análise de Baseline Empírico

Os autores conduziram uma comparação sistemática entre 22 LLMs baseados em decodificadores (incluindo as famílias Qwen 3, Llama 3.1/3.2 e Mistral) e oito benchmarks diversos (ex: MMLU, ARC, HellaSwag, PIQA).

Descobertas: As diferenças de desempenho são sistemáticas e dependentes da tarefa.
- Tarefas que favorecem símbolos: Tarefas que exigem comparação explícita de opções (ex: "Qual das seguintes é...?") ou que contêm opções como "Nenhuma das anteriores" (ex: ARC, MMLU) apresentam desempenho significativamente melhor com formatos baseados em símbolos.
- Tarefas que favorecem cloze: Tarefas que exigem continuação em linguagem natural (ex: prever a próxima frase em uma narrativa) apresentam desempenho significativamente melhor com formatos de estilo cloze (ex: HellaSwag, PIQA, WinoGrande).
Aprendizado em Contexto (In-Context Learning): Embora demonstrações de poucos disparos (few-shot) possam mitigar desalinhamentos de formato, elas não eliminam totalmente a lacuna de desempenho, e os modelos frequentemente falham em atingir o baseline do formato ideal mesmo com 10 exemplos.

2. Seleção de Formato Baseada em Classificador

Para abordar essas inconsistências, os autores introduzem um classificador leve baseado em codificador (DeBERTaV3 ajustado) que prevê o formato preferido (Símbolo vs. Cloze) para cada instância de problema. Duas estratégias de rotulagem foram exploradas para treinar este classificador:

Rótulos Anotados por Humanos: Um subconjunto de dados foi rotulado manualmente com base em heurísticas sintáticas (ex: se a opção completa uma frase ou requer comparação explícita).
- Resultado: Esta abordagem levou a uma degradação consistente do desempenho, sugerindo que a intuição linguística humana não se alinha com os vieses indutivos latentes dos LLMs em relação à preferência de formato.
Rótulos Gerados pelo Modelo: Os rótulos foram derivados avaliando o modelo alvo (ou um conjunto de modelos) em ambos os formatos e selecionando aquele onde o modelo demonstrou maior correção ou confiança (medida via margens de probabilidade).
- Algoritmo: Para uma dada instância, se o modelo responde corretamente em apenas um formato, esse formato é escolhido. Se estiver correto em ambos, o formato com a margem de confiança mais alta é selecionado (com um limiar $\delta$ para evitar ruído).
- Generalização: Para testar a transferibilidade, uma estratégia de "votação por maioria" foi empregada, onde os rótulos foram agregados de três modelos distintos de médio porte (Llama 3.1 8B, Mistral 7B, Qwen3 8B) para treinar um classificador para modelos não vistos.

Principais Contribuições

Caracterização Sistemática do Viés de Formato: O artigo estabelece que as discrepâncias de desempenho em MCQA não são estocásticas, mas variam sistematicamente de acordo com as propriedades estruturais e linguísticas da tarefa. Esses padrões são agnósticos ao modelo, emergindo consistentemente através de diversos LLMs baseados em decodificadores.
Sinais de Preferência Latente: Os autores fornecem evidências de que as características que governam a preferência de formato estão implicitamente codificadas nas representações latentes do modelo. A elicitação explícita desses sinais permite recuperar o desempenho que, de outra forma, seria perdido devido a uma formatação suboptimal.
Estratégia de Alinhamento Dinâmico de Formato: O método proposto aproveita sinais gerados pelo modelo para selecionar dinamicamente o formato de avaliação ideal por instância. Esta abordagem preenche a lacuna entre a capacidade do modelo e as características da tarefa sem exigir heurísticas livres de treinamento.

Resultados

Os resultados da avaliação demonstram que o classificador gerado pelo modelo supera significativamente tanto os baselines de formato fixo quanto os classificadores anotados por humanos.

Ganhos de Desempenho: O método proposto produz melhorias substanciais e consistentes na acurácia zero-shot em benchmarks de raciocínio e de conhecimento intensivo.
- Em tarefas que favorecem cloze (ex: HellaSwag, PIQA, WinoGrande), a abordagem frequentemente supera o baseline do formato "preferido", recuperando desempenho significativo (ex: +16,7% em WinoGrande para Llama 3.2 1B, +28,3% para Qwen3 0.6B).
- Em tarefas que favorecem símbolos (ex: ARC, MMLU), o método mantém paridade com o formato preferido original, evitando a degradação observada com classificadores anotados por humanos.
Generalização: A abordagem de "rotulagem por maioria", que agrega sinais de múltiplos modelos, alcança ganhos comparáveis aos classificadores de "autorotulagem". Isso indica que as preferências de formato não são artefatos únicos de modelos específicos, mas refletem tendências compartilhadas e dependentes da tarefa inerentes aos LLMs baseados em decodificadores.
Heurísticas Humanas vs. de Modelos: Classificadores treinados em rótulos anotados por humanos degradaram consistentemente o desempenho, confirmando que a intuição humana é um proxy não confiável para as preferências de formato dos modelos.

Significância

O artigo argumenta que as práticas de avaliação de formato fixo atualmente subestimam as capacidades dos LLMs. Ao demonstrar que os modelos possuem vieses latentes e dependentes da tarefa em relação aos formatos de avaliação, os autores enfatizam a importância de alinhar os protocolos de avaliação com esses vieses indutivos.

A significância deste trabalho reside em sua contribuição metodológica para a avaliação de LLMs:

Ele desafia a suposição de que heurísticas projetadas por humanos são suficientes para determinar estratégias de avaliação ideais.
Introduz um mecanismo de nível de instância, livre de treinamento, para recuperar capacidades latentes do modelo que são obscurecidas por desalinhamentos de formato.
Sugere que as avaliações futuras devem considerar como os modelos representam internamente e respondem a diferentes formatos de interação para fornecer uma avaliação mais precisa e perspicaz do desempenho do modelo.

Os autores observam que esta pesquisa é primordialmente metodológica, visando melhorar a confiabilidade e a interpretabilidade da avaliação de modelos, e não levanta novas preocupações sociais ou éticas além daquelas inerentes à própria avaliação de LLMs.