RECOM: A Validity Discrimination Tradeoff in Automatic Metrics for Open Ended Reddit Question Answering

Resumo Técnico: RECOM – Um Tradeoff entre Validade e Discriminação em Métricas Automáticas para Resposta a Perguntas de Reddit de Caráter Aberto

Definição do Problema

Métricas automáticas são o padrão para avaliar saídas de Grandes Modelos de Linguagem (LLMs), mas elas têm a tarefa implícita de desempenhar duas funções distintas: validade (distinguir o alinhamento genuíno de conteúdo de coincidências superficiais) e poder discriminativo (classificar de forma confiável um sistema melhor contra um pior). Em tarefas abertas e baseadas em opiniões, como o questionamento conversacional, esses dois objetivos parecem estar em tensão. Embora as métricas sejam rotineiramente tratadas como uma única propriedade "boa", este artigo postula que nenhuma métrica atual alcança simultaneamente alta validade e alto poder discriminativo. Os conjuntos de dados de avaliação existentes geralmente dependem de perguntas factuais com respostas objetivamente verificáveis (ex: FreshQA, RealTimeQA), que falham em capturar a nuance do consenso comunitário em contextos de opinião. Além disso, as métricas padrão frequentemente carecem de um "piso de baseline aleatório", tornando difícil determinar se uma pontuação alta reflete um alinhamento genuíno ou apenas as propriedades estatísticas de um texto fluente em inglês.

Metodologia

Para investigar esse tradeoff, os autores introduzem o RECOM (Reddit Evaluation for Correspondence of Models), um pipeline e conjunto de dados de avaliação livre de contaminação.

• Construção do Conjunto de Dados: O RECOM consiste em 15.000 perguntas abertas do r/AskReddit coletadas em setembro de 2025. A janela de coleta foi escolhida especificamente para ser posterior aos cortes de treinamento de todos os modelos avaliados (variando de final de 2023 a final de 2024), garantindo que não haja contaminação de dados. Para cada pergunta, a "verdade fundamental" (ground truth) é definida não como uma única resposta correta, mas como o conjunto de respostas da comunidade de profundidade-1 (respostas humanas diretas), preservando a distribuição total das perspectivas da comunidade.
• Modelos Avaliados: Cinco LLMs de código aberto (7B–10B parâmetros) foram avaliados: Mistral-7B, Qwen2.5-7B, Granite3.1-Dense-8B, Falcon3-10B e Llama-3.1-8B. Todos os modelos foram instruídos a gerar respostas com menos de 50 palavras.
• Protocolo de Avaliação:
  • Pontuação de Múltiplas Referências: Cada resposta gerada foi pontuada contra todas as respostas da comunidade de profundidade-1 para uma determinada postagem.
  • Famílias de Métricas: O estudo avaliou métricas lexicais (BLEU, ROUGE), semânticas (BERTScore, MoverScore, Similaridade de Cosseno) e baseadas em inferência (NLI).
  • Baseline de Desarranjo Aleatório: Para medir a validade, estabeleceu-se um baseline de desarranjo aleatório onde as respostas geradas foram emparelhadas com respostas de outras postagens. Isso cria um "piso de ruído" para medir a separação entre o alinhamento real e a coincidência aleatória.
  • Métricas de Interesse: Os autores calcularam o $d$ de Cohen para dois eixos:
    1. Validade: O tamanho do efeito que separa gerações reais de emparelhamentos aleatórios.
    2. Poder Discriminativo: O tamanho do efeito que separa os cinco diferentes modelos entre si.
  • Validação por LLM-como-Juiz: Três juízes de LLM independentes (Phi-4, Gemma-3, Yi-1.5) de diferentes desenvolvedores foram usados para pontuar os mesmos dados em "Relevância" e "Fidelidade" para corroborar o eixo de validade.
  • Controle de Comprimento: Para descartar o comprimento da resposta como uma variável de confusão, os autores realizaram análises de regressão e residualização de contagens de palavras.

Principais Contribuições

1. Identificação de um Tradeoff: O artigo identifica e quantifica um tradeoff sistemático entre validade e discriminação. Métricas que se destacam ao separar o alinhamento genuíno do ruído (alta validade) falham em classificar modelos (baixo poder discriminativo) e vice-versa.
2. O Conjunto de Dados RECOM: Um benchmark de 15.000 perguntas abertas, livre de contaminação e de acesso público, com múltiplas referências comunitárias autênticas, projetado especificamente para medir ambos os eixos de métricas contra um baseline aleatório.
3. Hipótese de Design de Representação: Os autores propõem que o tradeoff decorre do design de representação. Especificamente, codificadores de sentenças treinados contrastivamente (usados na similaridade de cosseno) aguçam a distinção entre textos relacionados e não relacionados (validade), mas colapsam as variações sutis entre diferentes sistemas de alta qualidade (poder discriminativo).
4. Framework de Relato: Os autores defendem o relato de métricas em um espaço bidimensional (validade vs. poder discriminativo) com um piso explícito de baseline aleatório, em vez de depender apenas de pontuações brutas.
5. Descoberta de Artefato de Comprimento: O estudo demonstra que o aparente poder discriminativo da precisão do BERTScore é, em grande parte, um artefato do comprimento da resposta. Uma vez controlado o comprimento, a capacidade do BERTScore de classificar modelos colapsa.

Resultos

• Métricas Lexicais (BLEU/ROUGE): Estas métricas mostraram alta validade (separando claramente o real do aleatório, com $d \approx 2$), mas quase nenhum poder discriminativo ($|d| < 0,1$). Os modelos agruparam-se de forma muito próxima, e os rankings foram instáveis entre as variantes das métricas.
• Métricas Semânticas:
  • Similaridade de Cosseno: Exibiu a maior validade (gap real-vs-aleatório $\approx 24$ pontos percentuais, $d \approx 2$), mas falhou em discriminar entre os modelos ($|d| < 0,1$). As pontuações para todos os cinco modelos foram quase idênticas.
  • BERTScore: A precisão bruta do BERTScore parecia ter alto poder discriminativo ($|d|$ até 0,63), classificando os modelos de forma diferente. No entanto, esse ranking correlacionou-se perfeitamente com o comprimento da resposta (modelos mais curtos pontuaram mais alto). Quando o comprimento da resposta foi residualizado, o poder discriminativo colapsou para $|d| = 0,09$, tornando-o insignificante. Além disso, as pontuações F1 brutas do BERTScore (85–86%) estavam apenas 1–3 pontos percentuais acima do baseline aleatório, indicando fraca validade sem o recálculo.
  • MoverScore: Mostrou validade moderada e poder discriminativo moderado que não foi impulsionado pelo comprimento, mas seu sinal geral foi mais fraco do que o da similaridade de cosseno.
• LLM-como-Juiz: Três juízes independentes reproduziram o gap de validade (separando o real do aleatório com grandes tamanhos de efeito, $d \approx 2,0\text{--}3,5$), mas, assim como as métricas automáticas, falharam em separar fortemente os cinco modelos ($|d|$ permaneceu baixo).
• Análise de Comprimento: O comprimento da resposta explicou muito pouco do gap real-vs-aleatório (mediana $R^2 \approx 3\%$), confirmando que o sinal de validade não é meramente um artefato de verbosidade. No entanto, o comprimento foi o principal motor das diferenças inter-modelos no BERTScore.

Significância e Alegações

O artigo argumenta que o tradeoff validade–discriminação é uma propriedade das métricas, não dos modelos. Como cada métrica pontuou exatamente as mesmas saídas de modelos, a incapacidade de validar simultaneamente o alinhamento e classificar sistemas é inerente aos designs atuais de métricas.

Os autores afirmam que o ideal de uma "boa métrica" é inalcançável com as abordagens atuais de métrica única para tarefas abertas. Eles sustentam que:

1. Validade e discriminação são questões distintas: "Este output engaja com o conteúdo?" e "Qual modelo é melhor?" são perguntas diferentes que nenhuma métrica única responde em tarefas abertas.
2. O Recálculo de Baseline é Crítico: Pontuações brutas (ex: F1 do BERTScore de 86%) frequentemente superestimam o alinhamento em 1–3 pontos em relação ao acaso. O recálculo contra um baseline aleatório revela o sinal real (6–13 pontos).
3. O Comprimento é um Confundidor: Rankings aparentes de modelos baseados em BERTScore são majoritariamente artefatos do comprimento da resposta, não da qualidade da resposta.

O artigo conclui que as práticas de avaliação devem evoluir para relatar métricas em ambos os eixos com baselines aleatórios explícitos. Ele não afirma resolver o tradeoff, mas sim expô-lo, sugerindo que o trabalho futuro deve abordar o design de representação para desacoplar essas propriedades. Os achados limitam-se a QA de formato curto e baseada em opiniões e podem não se generalizar para QA factual ou domínios com respostas objetivamente verificáveis.