Resumen Técnico: Diseño de Prompts para LLM para la Extracción de Puntuaciones de Textos Desordenados

Definición del Problema

El artículo aborda un desafío específico en el Procesamiento del Lenguaje Natural (NLP): diseñar prompts para Modelos de Lenguaje de Gran Tamaño (LLM) que extraigan con precisión puntuaciones numéricas de calidad de investigación a partir de informes de texto desestructurados y "desordenados". Aunque los LLM se utilizan frecuentemente para generar evaluaciones de texto (por ejemplo, calificar ensayos o evaluar la calidad de la investigación), sus resultados suelen ser inconsistentes. Pueden incluir las puntuaciones dentro de explicaciones extensas, omitir las puntuaciones por completo, proporcionar formatos inválidos (por ejemplo, porcentajes o escalas no estandarizadas) o no cumplir estrictamente con las restricciones de salida.

La tarea específica consiste en procesar informes generados por LLM que evalúan artículos de revistas basándose en la escala del UK Research Excellence Framework (REF) (del 1* al 4*). La dificultad central reside en dos requisitos simultáneos:

1. Precisión de Extracción: Identificar correctamente la puntuación general o calcular un promedio de las puntuaciones de los componentes (Originalidad, Significancia, Rigor) cuando la puntuación general está ausente.
2. Restricción de Salida: Asegurar que el LLM devuelva únicamente la puntuación numérica (y un asterisco opcional) o un código de valor faltante específico (-1), sin texto explicativo, errores de puntuación o desviaciones de formato.

Metodología

Para facilitar la investigación sobre este problema, el autor introduce un conjunto de datos compartido y un desafío estructurado.

Construcción del Conjunto de Datos

El conjunto de datos consta de 1,446 textos cortos derivados de informes generados por tres LLM de tamaño medio: Magistral, Llama 4 Scout y Gemma3 27b. Estos modelos recibieron la tarea de calificar artículos de revistas basándose en títulos y resúmenes.

• Filtrado de Fuentes: El proceso comenzó con cientos de miles de respuestas brutas. Primero se realizó la eliminación de duplicados dentro de la salida de cada modelo y luego entre los modelos.
• Curación Manual: Para maximizar la dificultad y la variedad, el conjunto restante se filtró manualmente en Excel. Se eliminaron informes similares para asegurar que el conjunto final contuviera una amplia variedad de estilos, incluyendo textos con puntuaciones faltantes, puntuaciones inválidas y formatos ambiguos.
• Estándar de Oro (Gold Standard): Un experto humano (el autor) juzgó manualmente la puntuación correcta para cada texto. Este "estándar de oro" incluye la puntuación específica (1*–4*) o -1 si la puntuación no es clara o falta. En los casos donde estaban presentes tres puntuaciones de componentes sin una puntuación general, se calculó su promedio como el estándar de oro.

La Tarea del Desafío

Los participantes tienen la tarea de diseñar un prompt de LLM para procesar los 1,446 textos. La salida debe adherirse estrictamente a un formato específico:

• Salidas Válidas: Un número (entero o decimal) seguido opcionalmente de un asterisco (por ejemplo, 3*, 2.667, 4 *) o el código -1.
• Salidas Inválidas: Cualquier respuesta que contenga caracteres distintos a dígitos, espacios, asteriscos o el signo menos (por ejemplo, "Score: 3*", "World-leading" o "3* porque...").
• Lógica de Calificación: El sistema debe devolver la puntuación general reportada si está disponible. Si no es así, y si las puntuaciones de Originalidad, Significancia y Rigor están presentes, debe devolver su promedio. Si el texto carece de una puntuación clara o contiene datos inválidos, debe devolver -1.

Evaluación

El artículo proporciona una solución de referencia (baseline) utilizando un prompt específico con ChatGPT 4.1-mini vía API. Los resultados se evalúan comparando la salida del LLM contra el estándar de oro, permitiendo una pequeña tolerancia de redondeo (dentro de 0.005 del valor exacto).

Resultados Clave

El experimento de referencia arrojó las siguientes estadísticas:

• Ítems Totales: 1,446
• Respuestas Correctas: 1,050
• Precisión: 72.61%

El artículo señala que el prompt de referencia suele fallar de dos maneras:

1. Violaciones de Formato: El modelo incluye texto explicativo o símbolos incorrectos.
2. Errores de Extracción: El modelo falla al promediar las puntuaciones de los componentes o interpreta erróneamente escalas inválidas (por ejemplo, tratar una escala de 5 puntos como válida para el sistema REF de 4 puntos).

Significado y Contribuciones

El artículo realiza tres contribuciones principales al campo de la ciencia de la información y el NLP:

1. Un Recurso Compartido: Proporciona un conjunto de datos "desordenados" curados de 1,446 informes de calidad de investigación con un estándar de oro verificado, lo que permite la comparación directa del rendimiento entre diferentes estrategias de ingeniería de prompts sin la carga de la creación de un conjunto de datos.
2. Un Desafío de Referencia (Benchmark): Establece una tarea clara y medible para que la comunidad mejore el baseline del 72.61%. El desafío fomenta el desarrollo de prompts que puedan manejar simultáneamente la extracción numérica compleja y las estrictas restricciones de formato.
3. Perspectiva sobre las Capacidades de los LLM: Al centrarse en una tarea que parece transparente (extraer un número) pero que contiene complejidades ocultas (escalas ambiguas, valores faltantes y ruido de formato), el desafío busca profundizar la comprensión de las limitaciones de los LLM y los matices de un diseño de prompt efectivo para tareas numéricas.

El autor posiciona este trabajo como una estrategia práctica para aumentar la eficiencia en la investigación, permitiendo que múltiples equipos generen soluciones para una tarea común, y sugiere que el desafío es adecuado tanto para investigadores como para proyectos estudiantiles.