Resumo Técnico: Projetando Prompts de LLM para Extração de Pontuações de Textos Confusos

Definição do Problema

O artigo aborda um desafio específico no Processamento de Linguagem Natural (PLN): projetar prompts para Grandes Modelos de Linguagem (LLMs) para extrair com precisão pontuações numéricas de qualidade de pesquisa de relatórios de texto não estruturados e "confusos". Embora os LLMs sejam frequentemente usados para gerar avaliações textuais (por exemplo, corrigindo ensaios ou avaliando a qualidade da pesquisa), seus resultados são frequentemente inconsistentes. Eles podem incorporar pontuações dentro de explicações extensas, omitir pontuações inteiramente, fornecer formatos inválidos (por exemplo, porcentagens ou escalas não padronizadas) ou falhar em seguir restrições rigorosas de saída.

A tarefa específica envolve o processamento de relatórios gerados por LLMs que avaliam artigos de periódicos com base na escala do UK Research Excellence Framework (REF) (1* a 4*). A dificuldade central reside em dois requisitos simultâneos:

1. Precisão de Extração: Identificar corretamente a pontuação geral ou calcular uma média de pontuações de componentes (Originalidade, Significância, Rigor) quando uma pontuação geral está ausente.
2. Restrição de Saída: Garantir que o LLM retorne apenas a pontuação numérica (e um asterisco opcional) ou um código de valor ausente específico (-1), sem qualquer texto explicativo, erros de pontuação ou desvios de formatação.

Metodologia

Para facilitar a pesquisa sobre este problema, o autor introduz um conjunto de dados compartilhado e um desafio estruturado.

Construção do Conjunto de Dados

O conjunto de dados consiste em 1.446 textos curtos derivados de relatórios gerados por três LLMs de médio porte: Magistral, Llama 4 Scout e Gemma3 27b. Esses modelos foram incumbidos de pontuar artigos de periódicos com base em títulos e resumos.

• Filtragem de Origem: O processo começou com centenas de milhares de respostas brutas. A remoção de duplicatas foi realizada primeiro dentro da saída de cada modelo e, depois, entre os modelos.
• Curadoria Manual: Para maximizar a dificuldade e a variedade, o restante do grande conjunto foi filtrado manualmente no Excel. Relatórios semelhantes foram removidos para garantir que o conjunto final contivesse uma grande variedade de estilos, incluindo textos com pontuações ausentes, pontuações inválidas e formatação ambígua.
• Padrão de Ouro (Gold Standard): Um especialista humano (o autor) julgou manualmente a pontuação correta para cada texto. Este "padrão de ouro" inclui a pontuação específica (1*–4*) ou -1, caso a pontuação seja incerta ou ausente. Em casos onde três pontuações de componentes estavam presentes sem uma pontuação geral, a média foi calculada como o padrão de ouro.

A Tarefa do Desafio

Os participantes devem projetar um prompt de LLM para processar os 1.446 textos. A saída deve aderir estritamente a um formato específico:

• Saídas Válidas: Um número (inteiro ou decimal) opcionalmente seguido por um asterisco (ex: 3*, 2.667, 4 *) ou o código -1.
• Saídas Inválidas: Qualquer resposta contendo caracteres que não sejam dígitos, espaços, asteriscos ou o sinal de menos (ex: "Score: 3*", "World-leading" ou "3* porque...").
• Lógica de Pontuação: O sistema deve retornar a pontuação geral reportada, se disponível. Se não, e se as pontuações de Originalidade, Significância e Rigor estiverem presentes, deve retornar a média delas. Se o texto carecer de uma pontuação clara ou contiver dados inválidos, deve retornar -1.

Avaliação

O artigo fornece uma solução de linha de base usando um prompt específico com o ChatGPT 4.1-mini via API. Os resultados são avaliados comparando a saída do LLM com o padrão de ouro, permitindo uma pequena tolerância de arredondamento (dentro de 0,005 do valor exato).

Principais Resultados

O experimento de linha de base gerou as seguintes estatísticas:

• Total de Itens: 1.446
• Respostas Corretas: 1.050
• Acurácia: 72,61%

O artigo observa que o prompt de linha de base frequentemente falha de duas maneiras:

1. Violações de Formato: O modelo inclui texto explicativo ou símbolos incorretos.
2. Erros de Extração: O modelo falha ao calcular a média das pontuações dos componentes ou interpreta erroneamente escalas inválidas (por exemplo, tratando uma escala de 5 pontos como válida para o sistema REF de 4 pontos).

Significância e Contribuições

O artigo apresenta três contribuições primárias para o campo da ciência da informação e PLN:

1. Um Recurso Compartilhado: Fornece um conjunto de dados curado e "confuso" de 1.446 relatórios de qualidade de pesquisa com um padrão de ouro verificado, permitindo a comparação direta do desempenho entre diferentes estratégias de engenharia de prompt sem o custo de criação de um conjunto de dados.
2. Um Desafio de Benchmark: Estabelece uma tarefa clara e mensurável para a comunidade melhorar o baseline de 72,61%. O desafio incentiva o desenvolvimento de prompts que possam lidar com a extração numérica complexa e restrições rigorosas de formatação simultaneamente.
3. Insight sobre as Capacidades dos LLMs: Ao focar em uma tarefa que parece transparente (extrair um número), mas que contém complexidades ocultas (escalas ambíguas, valores ausentes e ruído de formatação), o desafio visa aprofundar a compreensão das limitações dos LLMs e das nuances de um design de prompt eficaz para tarefas numéricas.

O autor posiciona este trabalho como uma estratégia prática para aumentar a eficiência na pesquisa, permitindo que múltiplas equipes gerem soluções para uma tarefa comum, e sugere que o desafio é adequado tanto para pesquisadores quanto para projetos estudantis.