Assessing LLM Reliability on Temporally Recent Open-Domain Questions

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para responder a perguntas em domínio aberto. No entanto, há uma lacuna significativa na compreensão de como esses modelos se alinham com as perspectivas humanas quando lidam com informações temporariamente recentes (pós-corte de treinamento).

• A maioria das avaliações anteriores foca em benchmarks estáticos ou conhecimento factual bem estabelecido, que não capturam eventos em evolução ou consensos comunitários dinâmicos.
• Existe a necessidade de avaliar se os modelos conseguem alinhar-se com o conhecimento coletivo emergente (ex: discussões no Reddit) e se as métricas tradicionais de avaliação (baseadas em sobreposição lexical) são suficientes para medir a qualidade de respostas abstrativas e parafraseadas.

2. Metodologia

2.1. Dataset: RECOM

Os autores introduzem o RECOM (Reddit Evaluation for Correspondence of Models), um novo conjunto de dados de benchmark:

• Origem: 132.728 posts do subreddit r/AskReddit de setembro de 2025 (garantindo que as perguntas são recentes e provavelmente ausentes dos dados de treinamento).
• Filtragem: Seleção das 15.000 perguntas com maior engajamento (comentários e respostas) para garantir diversidade e substância.
• Construção da Resposta de Referência: Em vez de uma única resposta "dourada" (gold standard), as respostas humanas foram agregadas e resumidas usando o modelo Llama-3.1-8B para criar uma "resposta de referência" que captura o consenso da comunidade e múltiplas perspectivas.
• Conjunto Final: Após filtrar respostas de recusa (refusals), o conjunto final contém 11.515 pares de pergunta-resposta por modelo.

2.2. Modelos Avaliados

Foram testados quatro LLMs de código aberto com diferentes escalas de parâmetros:

1. Mistral-7B (7B parâmetros)
2. Llama-3.1-8B (8B parâmetros)
3. Gemma-2-9B (9B parâmetros)
4. GPT-OSS-20B (20B parâmetros)

2.3. Framework de Avaliação Multi-dimensional

A avaliação foi realizada através de quatro perspectivas complementares para distinguir similaridade superficial de correspondência semântica profunda:

1. Métricas Léxicas: BLEU (1-4) e ROUGE (1, 2, L) para medir sobreposição de n-gramas e palavras exatas.
2. Similaridade Semântica:
   • BERTScore: Correspondência de tokens baseada em embeddings contextuais (RoBERTa-large).
   • MoverScore: Similaridade baseada em transporte ótimo (Earth Mover's Distance) para alinhar distribuições de tokens.
   • Similaridade de Cosseno: Alinhamento holístico no espaço de embeddings de documentos inteiros.
3. Inferência Lógica (NLI): Classificação das respostas geradas em relação à referência como Entailment (implicação), Contradiction (contradição) ou Neutral (neutro).
4. Análise Estatística: Uso do teste de Wilcoxon e tamanho de efeito (Cohen's d) para validar diferenças significativas.

---

3. Principais Contribuições

1. Novo Dataset: Criação do RECOM com 11.515 perguntas do mundo real e respostas de referência baseadas em consenso comunitário, focando em questões que exigem mais do que simples fatos.
2. Descoberta do Paradoxo Semântico-Léxico: Evidência robusta de que modelos podem alcançar alinhamento semântico quase perfeito (>99%) enquanto mantêm sobreposição lexical extremamente baixa (<8%).
3. Desafio à Lei de Escala: Demonstração de que o número de parâmetros não prediz o desempenho de alinhamento; modelos menores (7B-8B) superaram consistentemente o modelo maior (20B).
4. Posicionamento do MoverScore: Identificação do MoverScore como uma métrica intermediária crucial (51-53%) que oferece uma visão mais granular do custo de alinhamento semântico do que métricas puramente de embedding ou léxicas.

---

4. Resultados Chave

4.1. O Paradoxo Semântico-Léxico

• Sobreposição Léxica (BLEU-1): Extremamente baixa para todos os modelos, variando de 0,57% a 7,58%. Isso indica que os modelos raramente copiam palavras exatas da referência.
• Similaridade Semântica (Cosseno): Extremamente alta, variando de 99,10% a 99,51% para todos os modelos.
• Conclusão: Existe uma lacuna de mais de 90 pontos percentuais entre a similaridade de embedding e a sobreposição de palavras. Os modelos preservam o significado através de parafraseamento extensivo em vez de reprodução léxica.

4.2. Desempenho por Modelo e Escala

• Mistral-7B (7B): Desempenhou-se melhor em todas as métricas (léxicas e semânticas).
• Llama-3.1-8B: Seguiu de perto o Mistral.
• GPT-OSS-20B (20B): O modelo com maior número de parâmetros teve desempenho inferior ao Mistral-7B e Llama-3.1-8B em todas as métricas.
• Gemma-2-9B: Ficou consistentemente atrás dos outros modelos.
• Implicação: A escala de parâmetros não é um indicador confiável de qualidade em tarefas de geração abstrativa e alinhamento semântico; a arquitetura e o ajuste fino (fine-tuning) parecem mais críticos.

4.3. Padrões de Inferência Lógica (NLI)

• Neutro (86-90%): A maioria das respostas foi classificada como neutra, indicando que o conteúdo gerado é topicoamente relacionado, mas não uma derivação lógica direta nem uma contradição da referência.
• Contradição (<7%): As taxas de contradição direta foram baixas, sugerindo que os modelos raramente geram conteúdo que conflita diretamente com o consenso humano, embora possam não seguir estritamente os fatos apresentados.
• Entailment (3-9%): Poucas respostas foram logicamente derivadas da referência, reforçando a natureza de parafraseamento abstrativo.

4.4. Comportamento das Métricas

• MoverScore (51-53%): Ocupou uma posição intermediária, refletindo o "custo" de redistribuir a massa semântica entre diferentes realizações lexicais.
• Discrepância: Métricas como BLEU penalizam severamente a geração abstrativa, enquanto métricas de embedding (Cosseno) podem saturar (ceiling effect), mascarando diferenças sutis na qualidade da paráfrase.

---

5. Significado e Conclusão

O estudo desafia a confiabilidade das métricas léxicas tradicionais (como BLEU e ROUGE) para avaliar a geração de texto abstrativo por LLMs.

• Reavaliação de Métricas: A alta similaridade semântica com baixa sobreposição léxica sugere que os modelos modernos são proficientes em reescrever informações mantendo o significado, algo que métricas superficiais falham em capturar.
• Foco no Alinhamento Semântico: A avaliação deve evoluir para frameworks multidimensionais que combinem métricas léxicas, semânticas (BERTScore, MoverScore) e de inferência lógica.
• Escalabilidade vs. Qualidade: O fato de um modelo de 7B superar um de 20B indica que a "Lei de Escala" não se aplica uniformemente a todas as tarefas de alinhamento e que a eficiência e a qualidade dos dados de treinamento são fatores determinantes.
• Limitações: O estudo mede o alinhamento com o consenso humano, não a verdade factual absoluta. Um modelo pode alinhar-se perfeitamente a uma resposta humana popular, mas incorreta.

Em suma, o RECOM demonstra que LLMs são capazes de compreender e responder a questões recentes com alta fidelidade semântica, mesmo que o texto gerado seja lexicalmente distinto das fontes humanas, exigindo novas abordagens para avaliação de confiabilidade.