LLMs as Assessors: Right for the Right Reason?

Resumo Técnico: LLMs como Avaliadores: Certos pelos Motivos Certos?

Título Original: LLMs as Assessors: Right for the Right Reason?
Autores: Sourav Saha, Mandar Mitra e Aditya Dutta (Indian Statistical Institute).

---

1. O Problema

O uso de Grandes Modelos de Linguagem (LLMs) como "juízes" para avaliar a qualidade de sistemas de Processamento de Linguagem Natural e Recuperação de Informação (IR) tem crescido rapidamente. No entanto, a maioria das pesquisas foca apenas na relevância ao nível do documento (se um documento é relevante ou não para uma consulta).

O problema central abordado neste estudo é a falta de granularidade e de explicabilidade: um LLM pode classificar um documento como relevante, mas por que ele o fez? Ele identificou as partes corretas do texto ou apenas "chutou" com base em pistas lexicais superficiais? O objetivo é investigar se os LLMs são "certos pelos motivos certos", ou seja, se eles conseguem extrair os trechos (passagens) que realmente justificam a relevância.

2. Metodologia

Os autores propõem uma abordagem de avaliação em dois níveis:

• Tarefa de Geração de Racional (Extração de Passagens): Em vez de apenas uma etiqueta binária, os pesquisadores instruem o LLM (via few-shot prompting) a destacar os trechos específicos de um documento que respondem à necessidade de informação de uma consulta.
• Dataset: Utilizaram as coleções INEX 2009 e 2010, que contêm dados de "verdade fundamental" (ground truth) anotados por humanos, onde os avaliadores humanos também destacaram passagens específicas em artigos da Wikipedia.
• Modelos Testados:
  • Llama-3.1-8B-Instruct (modelo de código aberto, menor).
  • GPT-4.1-mini e GPT-4o-mini (modelos proprietários da OpenAI, representando capacidades de raciocínio superiores).
• Configuração de Prompt: Utilizaram In-Context Learning (ICL) com 6 exemplos (exemplars). Eles testaram diferentes estratégias de seleção desses exemplos (aleatória, baseada no tamanho do trecho relevante e na proporção do trecho no documento).
• Métricas: Precisão, Recall e F1-score, calculados tanto em nível macro quanto micro, comparando a sobreposição entre o que o LLM extraiu e o que o humano destacou (usando a subsequência comum mais longa - LCS).

3. Principais Contribuições

1. Avaliação Granular: É o primeiro estudo a olhar além do nível de documento, avaliando a capacidade dos LLMs de identificar "razões" (passagens) para sua classificação.
2. Análise de "Agulha no Palheiro": Investigação de como os modelos lidam com documentos longos onde apenas uma pequena parte é relevante.
3. Estratégias de Seleção de Exemplares: Demonstração de que a forma como os exemplos são escolhidos no prompt afeta drasticamente a precisão do modelo.
4. Framework de Explicabilidade: Proposta de um método para quantificar a fidelidade das explicações geradas por LLMs em tarefas de IR.

4. Resultados Principais

• Comportamento dos Modelos:
  • Modelos maiores (GPT) tendem a ser mais conservadores na predição de relevância do que modelos menores (Llama).
  • O Llama-3.1-8B apresentou muitos falsos positivos, sendo facilmente enganado por pistas lexicais (palavras comuns entre consulta e documento), embora o estudo sugira que isso não é puramente por similaridade de termos.
• Recall vs. Precisão: Os LLMs tendem a ter um Recall alto, mas Precisão baixa. Isso ocorre porque os modelos têm uma tendência a "super-destacar" o conteúdo (selecionar trechos maiores do que o necessário), o que infla o recall.
• Dificuldade com Trechos Descontínuos: Os modelos têm dificuldade significativa quando a informação relevante está espalhada em vários trechos não contíguos no mesmo documento.
• O Problema da "Agulha no Palheiro": A precisão cai drasticamente em documentos longos onde a proporção de conteúdo relevante é muito pequena.
• Melhoria via Prompting: A seleção de exemplos que representam casos de "baixa proporção de relevância" (trechos muito pequenos em relação ao documento) melhorou significativamente a precisão dos modelos em casos difíceis.

5. Significância e Conclusões

O estudo conclui que, embora os LLMs sejam ferramentas promissoras para reduzir o custo de criação de datasets de benchmark, eles não podem substituir totalmente os avaliadores humanos.

A principal lição é que a capacidade de classificar um documento como "relevante" não garante que o modelo compreendeu o conteúdo de forma precisa. Para aplicações críticas de Recuperação de Informação e RAG (Retrieval-Augmented Generation), o uso de LLMs como juízes deve ser feito com cautela, preferencialmente utilizando modelos com maior capacidade de raciocínio e técnicas de seleção de exemplos cuidadosamente calibradas para evitar a sobre-extensão de justificativas.