Neural Models and Language Model Prompting for the Multidimensional Evaluation of Open-Ended Conversations

Imagine que você é um chef de cozinha e acabou de criar um novo prato de restaurante. Como você sabe se o prato é bom? Você pode pedir para um crítico de comida (um humano) provar e dar uma nota. Mas, e se você tiver que cozinhar 1.000 pratos por dia? Pedir para um crítico provar tudo seria caro, demorado e cansativo.

É exatamente esse o problema que os cientistas de dados enfrentam hoje com os chatbots (os assistentes de IA com quem conversamos). Eles conversam tanto que é impossível um humano avaliar cada conversa. Então, eles tentam criar "robôs avaliadores" para fazer esse trabalho.

Este artigo é a história de como uma equipe da Orange Research tentou criar esses robôs avaliadores para uma competição chamada DSTC-12. Eles queriam saber: "Qual é a melhor maneira de um computador julgar se uma conversa com um chatbot foi boa, empática, útil ou segura?"

Aqui está a explicação do que eles fizeram, usando analogias simples:

1. O Desafio: Avaliar Conversas Humanas

Conversas reais são caóticas e imprevisíveis. Para avaliar um chatbot, não basta ver se ele respondeu rápido; é preciso julgar coisas abstratas como:

• Empatia: O robô parece se importar?
• Relevância: A resposta faz sentido?
• Curiosidade: O robô fez perguntas interessantes?

O problema é que os humanos têm opiniões diferentes. Um diz "ótimo", o outro diz "mediano". Os autores queriam criar um sistema que fosse tão justo quanto um humano, mas rápido e barato.

2. As Quatro Estratégias (Os "Candidatos")

A equipe testou quatro métodos diferentes, como se fossem quatro tipos de juízes diferentes:

• O Juiz "Chat" (Prompting de LM):
  Imagine que você pega um robô superinteligente (como o Llama ou Qwen) e diz: "Leia esta conversa e me dê uma nota de 0 a 100 sobre quão empático o robô foi". É como pedir para um professor particular ler um trabalho e dar uma nota. Eles tentaram dar dicas, exemplos e até mudar o "personagem" do robô (fingindo ser um especialista ou um trabalhador comum).

  • Resultado: Funcionou razoavelmente bem, mas o robô às vezes "alucina" ou não entende o contexto completo, como um aluno que decorou a teoria mas não sabe aplicar na prática.

• O Juiz "Matemático" (Modelo de Regressão):
  Este é um modelo menor e mais simples. Ele é treinado como um aluno que estuda milhares de exemplos de conversas e notas. Ele aprende a "adivinhar" o número exato (ex: 7,4) baseado em padrões.

  • Resultado: No treino, ele foi um gênio! Mas no teste final, ele se comportou como um aluno que "decoreu" a prova e não conseguiu responder a perguntas novas. Ele ficou confuso porque a prova final tinha regras diferentes.

• O Juiz "Categorizador" (Modelo de Classificação):
  Em vez de dar um número exato, este modelo é treinado para escolher uma categoria: "Ruim", "Médio" ou "Bom". É como um professor que só usa as letras A, B e C.

  • Resultado: Surpreendentemente, este foi o "cavalo de corrida" da equipe. Embora tenha ficado em último lugar no geral, ele venceu em 6 das 10 categorias (como Empatia), superando até os robôs gigantes. Ele foi muito consistente em entender o "sentimento" da conversa.

• O Juiz "Misto" (Híbrido):
  A equipe tentou criar um "super-juiz" que escolhia o melhor método para cada situação. Se era para julgar Empatia, usava o "Categorizador"; se era para julgar Relevância, usava o "Matemático".

  • Resultado: Foi uma ideia lógica, mas na prática, não funcionou tão bem quanto esperado. A mistura de métodos não conseguiu se adaptar bem às regras do teste final.

3. O Grande "Plot Twist" (A Pegadinha dos Dados)

Aqui está a parte mais interessante e frustrante da história.

Imagine que você treina um jogador de futebol para chutar bolas em um campo de grama verde e seco. Você o treina tanto que ele é o melhor do mundo nesse campo. Mas, no dia da final, o campo está coberto de neve e lama.

O que aconteceu na competição foi isso:

• O Treino: Os dados usados para treinar os modelos tinham notas que iam de 0 a 100, com uma distribuição específica.
• O Teste: O teste final (a "prova") mudou as regras. De repente, a nota de "Empatia" ia de 1 a 12, e a de "Confiança" ia de 0 a 5. Além disso, os humanos que deram as notas no teste pareciam ter entendido as perguntas de forma diferente dos humanos que deram as notas no treino.

Conclusão: Os modelos "Matemáticos" e "Categorizadores" foram vítimas dessa mudança. Eles se especializaram tanto nas regras antigas que não conseguiram se adaptar às novas. O modelo "Chat" (LM Prompting), por ser mais flexível e não ter "decorado" tanto, conseguiu se adaptar um pouco melhor, mas ainda assim, ninguém venceu o "Juiz Oficial" (a linha de base da competição).

4. O Que Aprendemos?

A lição principal deste trabalho é que avaliar conversas de IA é muito difícil porque:

1. Humanos são subjetivos: Duas pessoas podem achar a mesma resposta ótima ou péssima.
2. Dados inconsistentes: Se as regras de pontuação mudam entre o treino e o teste, os modelos ficam confusos.
3. Tamanho não é tudo: Modelos gigantes (com bilhões de parâmetros) não são necessariamente melhores do que modelos pequenos e bem treinados para tarefas específicas. Às vezes, um modelo pequeno e focado (como o de classificação) vence o gigante.

Resumo Final:
A equipe mostrou que, embora ainda não tenhamos um "robô juiz" perfeito que supere os humanos em tudo, métodos simples e inteligentes (como classificar em categorias) podem ser muito eficazes. O maior inimigo não foi a tecnologia, mas sim a inconsistência dos dados e das regras de avaliação. Para o futuro, eles sugerem que precisamos de mais dados, melhores regras e humanos mais consistentes para ensinar as máquinas a julgar conversas.