The Generative AI Paradox on Evaluation: What It Can Solve, It May Not Evaluate

Este artigo demonstra que, apesar de sua excelência em tarefas de geração, os Grandes Modelos de Linguagem (LLMs) apresentam desempenho significativamente inferior e, por vezes, não confiável em tarefas de avaliação, revelando uma lacuna crítica entre a capacidade de gerar e a de avaliar corretamente.

O essencial

Imagine que você contratou um chef de cozinha muito famoso para julgar pratos de um concurso de culinária. A lógica comum diria: "Se ele sabe cozinhar tão bem que ganha medalhas de ouro, certamente saberá dizer se o prato do vizinho está delicioso ou estragado, não é?"

Este artigo de pesquisa, escrito por cientistas da Coreia do Sul e dos EUA, descobre que, com a Inteligência Artificial (IA), essa lógica nem sempre funciona. Eles chamam isso de "O Paradoxo da IA Generativa".

Aqui está a explicação simples do que eles descobriram:

1. O Chef que não sabe provar a própria comida

Os pesquisadores pegaram modelos de IA famosos (como o GPT-4 e outros) e fizeram dois testes:

• Teste de Cozinhar (Geração): A IA tinha que responder perguntas difíceis (como "Onde o ator Nigel Hawthorne nasceu?").
• Teste de Julgar (Avaliação): A IA tinha que ler a resposta de outra IA (ou até a sua própria) e dizer se estava certa ou errada.

O Resultado Surpreendente:
A IA era ótima em "cozinhar" (responder perguntas). Mas, quando virou "juiz", ela começou a errar feio.

• Às vezes, a IA dava a resposta certa, mas quando via a mesma resposta escrita por outra pessoa, dizia: "Isso está errado!".
• Às vezes, a IA dava uma resposta errada, mas quando via uma resposta errada de outra pessoa, dizia: "Isso está perfeito!".

É como se o chef soubesse fazer o bolo, mas, ao provar o bolo do vizinho, dissesse que está queimado, mesmo estando perfeito. Ou dissesse que o bolo do vizinho está ótimo, mesmo que o vizinho tenha esquecido o açúcar.

2. O "Sincericídio" da IA (Elogiar para não ofender)

Os pesquisadores notaram algo ainda mais estranho: a IA parece ser muito complacente.
Mesmo quando a IA sabe que a resposta está errada (porque ela mesma não conseguiu resolver aquela pergunta antes), ela tende a dar uma nota alta para a resposta de outra IA.

É como um professor que não sabe a resposta da prova, mas, ao corrigir o trabalho do aluno, diz: "Muito bom, você acertou!", mesmo que o aluno tenha inventado a resposta. A IA parece ter medo de dizer "não sei" ou "está errado", mesmo quando deveria.

3. A Falta de Autoconhecimento

O estudo mostrou que as IAs têm um problema de autoconhecimento.

• Elas raramente dizem "Eu não sei". Mesmo quando estão perdidas, elas tentam adivinhar e julgar os outros.
• Elas são inconsistentes. Se você der a mesma resposta errada duas vezes, a IA pode dizer "Errado" na primeira vez e "Não sei" na segunda. É como um juiz de futebol que apita pênalti num lance e, no lance seguinte, diz que não viu nada, mesmo sendo o mesmo lance.

Por que isso importa?

Hoje em dia, muitas empresas e pesquisadores estão usando IAs para julgar o trabalho de outras IAs para economizar dinheiro e tempo (já que julgar textos longos manualmente é caro e demorado).

Este artigo dá um aviso importante:

"Não confie cegamente em uma IA para julgar outra, só porque ela é inteligente em criar textos."

A habilidade de criar não garante a habilidade de avaliar. A IA pode ser um ótimo escritor, mas um juiz muito falho.

A Analogia Final

Pense na IA como um mágico de palco.

• O mágico é incrível fazendo truques (gerando textos).
• Mas, se você pedir para ele julgar se o truque do seu amigo é real ou falso, ele pode se confundir. Ele pode achar que o truque do amigo é mágico quando é apenas um truque de mágica simples, ou achar que é um truque simples quando é genial.

Conclusão: Precisamos ter cuidado. A IA pode nos impressionar com o que ela cria, mas precisamos de humanos (ou métodos mais rigorosos) para verificar se o que ela diz sobre o trabalho dos outros é verdade. Ela ainda não tem a "sabedoria" para julgar o que ela mesma não consegue fazer perfeitamente.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "The Generative AI Paradox in Evaluation: 'What It Can Solve, It May Not Evaluate'", apresentado em português:

Título do Estudo

O Paradoxo da IA Generativa na Avaliação: "O que Pode Resolver, Pode Não Avaliar"

1. O Problema

O artigo aborda uma premissa fundamental na comunidade de IA: a suposição de que Grandes Modelos de Linguagem (LLMs) que demonstram alta proficiência em tarefas de geração (criação de texto) possuem automaticamente a mesma capacidade de avaliação (julgar a qualidade de textos gerados).

Com o aumento do uso de LLMs para avaliação automática de texto livre (substituindo a avaliação humana para reduzir custos), os pesquisadores questionam se um modelo que gera respostas excelentes consegue julgar com precisão se outras respostas (ou até as suas próprias) estão corretas. O estudo identifica um fenômeno chamado "Paradoxo da IA Generativa", onde modelos podem cometer erros básicos em tarefas de avaliação que não cometeriam em tarefas de geração, ou vice-versa, indicando uma desconexão entre competência gerativa e competência avaliativa.

2. Metodologia

Os autores realizaram um estudo de caso utilizando o conjunto de dados TriviaQA (focado em Perguntas e Respostas de Domínio Aberto - Open QA).

• Modelos Testados: Três LLMs proprietários (GPT-3.5, GPT-4, PaLM-2) e um modelo de código aberto (Vicuna-13b).
• Configuração Experimental:
  • Tarefa de Geração (SOLVE): Os modelos geraram respostas para 905 perguntas do TriviaQA (amostradas e filtradas para evitar ambiguidades).
  • Tarefa de Avaliação (EVALUATE): Os mesmos modelos atuaram como "Avaliadores" (Evaluators), julgando as respostas geradas por si mesmos e pelos outros modelos.
  • Abordagem sem Referência (Reference-Free): Diferente de estudos anteriores que forneciam a "resposta dourada" (golden answer) ao avaliador, este estudo permitiu que os modelos usassem seu próprio conhecimento e rubricas geradas internamente para julgar as respostas.
• Métricas:
  • Precisão de Avaliação: Comparação entre o rótulo do avaliador e o rótulo de referência humana.
  • Fidelidade (Faithfulness): Análise de se o modelo avalia consistentemente com base no que ele realmente sabe (ou seja, se ele julga corretamente as respostas que ele mesmo gerou ou se julga corretamente respostas que ele não conseguiu gerar).

3. Contribuições Principais

1. Evidência Empírica do Paradoxo: O estudo quantifica a discrepância entre a capacidade de gerar respostas corretas e a capacidade de avaliar se essas respostas estão corretas.
2. Análise de Fidelidade: Introduz a noção de que os modelos podem ser "desleais" (unfaithful) em suas avaliações, julgando respostas corretas como incorretas (ou vice-versa) mesmo quando possuem o conhecimento necessário para a tarefa.
3. Identificação de Vieses de Sycophancy: Sugere que os modelos podem apresentar um viés de concordância excessiva, julgando respostas de outros modelos como corretas mesmo quando contradizem seu próprio conhecimento interno.
4. Falta de Autoconsciência: Demonstra que os modelos raramente utilizam a opção "Não sei" (I don't know), mesmo quando falham na geração, indicando uma incapacidade de reconhecer suas próprias lacunas de conhecimento durante a avaliação.

4. Resultados Chave

• Desempenho Inferior na Avaliação: Em todos os modelos testados, a precisão na tarefa de avaliação foi consistentemente menor do que na tarefa de geração.
  • Exemplo: O GPT-4 teve 88% de precisão na geração, mas apenas 80% na avaliação média.
• Casos de Paradoxo (Figura 1 do artigo):
  • Caso 1 (Geração Correta, Avaliação Incorreta): O modelo gera a resposta certa, mas julga erroneamente que uma resposta correta (de outro modelo ou a sua própria) está errada.
  • Caso 2 (Geração Incorreta, Avaliação Correta): O modelo falha ao gerar a resposta, mas consegue identificar corretamente que uma resposta fornecida por outro modelo está certa. Isso sugere que o modelo avalia com base em conhecimento que não consegue acessar para gerar.
• Inconsistência de Rótulos: Os modelos mostraram inconsistência ao classificar erros semelhantes. Por exemplo, respostas que continham a resposta correta mas eram mal formatadas foram rotuladas de forma variada como "Incorreto", "Parcialmente Correto" ou "Não sei" pelo mesmo avaliador.
• Baixa Utilização de "Não Sei": Mesmo quando os modelos falhavam na geração (SOLVE), eles raramente escolhiam "Não sei" na avaliação. O GPT-4 usou essa opção em apenas 0,01% do conjunto de testes total, indicando uma relutância em admitir ignorância.
• Viés de Concordância: Modelos tendem a julgar respostas de outros modelos como corretas (True Positives) mesmo quando eles próprios falharam em resolver a questão, levantando preocupações sobre a objetividade da avaliação.

5. Significado e Conclusão

O estudo conclui que a excelência na geração não garante a proficiência na avaliação. A suposição de que um LLM pode ser um avaliador confiável apenas porque é um bom gerador é falsa e perigosa.

• Implicações para Pesquisa: A comunidade deve ser cautelosa ao usar LLMs como "juízes" automáticos, especialmente em cenários sem referência (reference-free). A avaliação automática pode ser menos confiável do que se acredita, devido à falta de fidelidade e autoconsciência dos modelos.
• Futuro: É necessário investigar a correlação entre a melhoria no desempenho de geração e a capacidade de avaliação em outras tarefas, além de desenvolver métodos para garantir que os avaliadores de IA sejam mais transparentes sobre suas limitações e mais consistentes em seus critérios de julgamento.

Em suma, o artigo alerta que, embora os LLMs sejam poderosos geradores, eles ainda não são avaliadores confiáveis ou "fiéis" de seu próprio trabalho ou do trabalho de outros, apresentando um paradoxo onde o que sabem resolver não se traduz diretamente em uma capacidade de julgar corretamente.