Resumen Técnico: BT-APE para la Clasificación de Requisitos

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) se están aplicando cada vez más a tareas de Ingeniería de Requisitos (RE), como la clasificación de requisitos, debido a su capacidad para seguir instrucciones en lenguaje natural sin necesidad de entrenamiento específico para la tarea. Sin embargo, el rendimiento de estos modelos depende fuertemente de la calidad de los prompts utilizados para guiarlos. En el dominio de la RE, el diseño de prompts sigue siendo un proceso mayoritariamente manual y ad-hoc que depende de la prueba y error y la intuición del profesional. Esta falta de optimización sistemática conduce a resultados inconsistentes y subóptimos, y limita la reproducibilidad. Además, aunque existen técnicas de Ingeniería de Prompts Automática (APE) en el Procesamiento de Lenguaje Natural (NLP) general, su aplicabilidad a las tareas específicas de dominio de la RE y su eficacia en comparación con las estrategias de prompting clásicas aún no han sido exploradas. Por otra parte, los métodos de APE existentes suelen incurrir en altos costes computacionales, lo que los hace inadecuados para entornos con recursos limitados, comunes en la RE, donde la confidencialidad de los datos a menudo exige el despliegue local en servidores más pequeños.

Metodología: BT-APE

Los autores proponen BT-APE (Backtracking APE), un marco de trabajo computacionalmente ligero que plantea el diseño de prompts como un problema de optimización. El método refina iterativamente los prompts utilizando candidatos generados por LLM, una estrategia de búsqueda con retroceso (backtracking) y una selección dinámica de ejemplos.

Flujo de Trabajo Principal

El proceso se divide en tres fases utilizando un conjunto de datos dividido en tres grupos disjuntos: un grupo para el muestreo de ejemplos ($D_{pool}$), un conjunto de validación ($D_{val}$) y un conjunto de prueba reservado ($D_{test}$).

1. Inicialización: Un prompt inicial se califica en el conjunto de validación para establecer una línea base.
2. Refinamiento Iterativo:
   • Generación de Candidatos: Un LLM propone un nuevo prompt candidato condicionado al prompt actual y a un lote de ejemplos equilibrado y dinámico. Este lote se actualiza en cada iteración para incluir un ejemplo positivo clasificado correctamente, un ejemplo negativo clasificado correctamente, un ejemplo positivo mal clasificado y un ejemplo negativo mal clasificado de $D_{pool}$.
   • Evaluación: Los candidatos se califican en $D_{val}$ mediante un voto de mayoría de 3 ejecuciones para mitigar la estocasticidad.
   • Retroceso Limitado (Bounded Backtracking): A diferencia de los métodos que revierten inmediatamente ante un solo fallo, BT-APE mantiene una lista clasificada de todos los candidatos evaluados. Continúa a lo largo de una trayectoria hasta que se alcanza un umbral de paciencia configurable ($X=3$) de iteraciones consecutivas sin mejoras. Solo entonces realiza un retroceso al siguiente mejor prompt en el historial, evitando que la búsqueda se estanque en regiones improductivas.
3. Evaluación en Conjunto Reservado: El mejor prompt encontrado durante la búsqueda se evalúa exactamente una vez en el conjunto de prueba reservado ($D_{test}$) para proporcionar una métrica de rendimiento final e imparcial.

Distinciones Clave de Diseño

BT-APE se contrasta explícitamente con PE2, un baseline de APE de última generación. Aunque ambos son métodos de trayectoria única conscientes del historial, BT-APE difiere en tres aspectos clave para reducir la huella computacional:

• Contexto Limitado: PE2 condiciona las propuestas al historial completo de los $n$ mejores prompts, lo que provoca que el contexto de entrada crezca linealmente. BT-APE se condiciona solo al prompt actual y a un lote compacto y equilibrado, manteniendo el tamaño del contexto limitado.
• Selección de Ejemplos Equilibrada: BT-APE impone una selección estricta de cuatro elementos (éxito/fallo $\times$ clase), mientras que PE2 utiliza un lote de errores sin restricciones.
• Paciencia Explícita: BT-APE utiliza un umbral de paciencia fijo para el retroceso, mientras que PE2 reacciona de forma más inmediata ante la falta de mejoras.

Diseño Experimental

El estudio evalúa BT-APE a través de:

• Datasets: Tres conjuntos de datos de referencia de RE: PROMISE (NFR), PROMISE-Refined y SecReq.
• Modelos: Cinco LLMs ajustados por instrucciones en el rango de 7–8 mil millones de parámetros (Qwen2, Falcon3, Granite-3.2, Ministral, LLaMA-3).
• Baselines: Cuatro estrategias de prompting clásicas (Zero-shot, Few-shot, Chain-of-Thought, CoT+Few-shot) y el baseline de APE PE2.
• Variantes de Inicialización: Se probaron dos estrategias de inicialización: BT-APE-Uninformed (definiciones simples e intuitivas) y BT-APE-Informed (definiciones curadas de la literatura de RE).

Resultados Clave

Rendimiento vs. Baselines Clásicos

BT-APE supera significativamente a las cuatro estrategias de prompting clásicas en casi todas las combinaciones de modelos y datasets.

• Significancia Estadística: La mejora media en el F1 ponderado ($wF1$) sobre los baselines clásicos oscila entre +0.049 y +0.143, con tamaños de efecto grandes ($r \ge 0.50$) y significancia estadística ($p < 0.05$ tras la corrección de Holm-Bonferroni).
• Consistencia: BT-APE iguala o supera al mejor baseline clásico en 11 de las 15 configuraciones de modelo-dataset.

Rendimiento vs. PE2 (Baseline de APE)

• Precisión: BT-APE logra un rendimiento estadísticamente indistinguible de PE2 (diferencia media $\Delta = +0.001$, tamaño de efecto insignificante). Ambos métodos convergen a un techo de rendimiento similar.
• Eficiencia: A pesar de tener una precisión equivalente, BT-APE es sustancialmente más eficiente. Consume aproximadamente un 72% menos de tokens de entrada acumulados y un 66% menos de tiempo de ejecución (wall-clock time) que PE2. Esto hace que BT-APE sea más adecuado para su despliegue en servidores pequeños, con recursos limitados o aislados (air-gapped).

Análisis de Características del Prompt (RQ3)

Un análisis de modelo mixto lineal de la evolución de los prompts reveló correlatos específicos de los prompts de alto rendimiento:

• Correlatos Positivos: Un mayor conteo de verbos (lenguaje orientado a la acción) y un mayor conteo de marcadores de puntuación (claridad estructural) están asociados con un mejor rendimiento.
• Correlatos Negativos: Mayores conteos de frases/palabras, mayor diversidad léxica y mayor complejidad sintáctica se correlacionan con un menor rendimiento.
• Deriva Semántica: Las iteraciones que implican cambios semánticos mayores (deriva semántica) están asociadas con mejoras en el rendimiento, lo que sugiere que la revisión sustantiva es más efectiva que el parafraseo superficial.

Impacto de la Inicialización (RQ4)

• Informed vs. Uninformed: Proporcionar definiciones de clase informadas por el dominio (BT-APE-Informed) no produjo una mejora estadísticamente significativa en el rendimiento final sobre las definiciones mínimas y no informadas (BT-APE-Uninformed).
• Robustez: El proceso de optimización iterativa fue lo suficientemente robusto como para compensar los prompts iniciales más débiles, convergiendo a un rendimiento final comparable independientemente de la estrategia de inicialización.

Significado y Contribuciones

El artículo reclama tres contribuciones primarias:

1. Un Marco de APE Ligero: BT-APE proporciona una alternativa computacionalmente eficiente a los métodos de APE existentes, logrando una precisión de vanguardia con una huella de recursos significativamente reducida. Esto permite la aplicación de la ingeniería de prompts automatizada en entornos de RE donde se requiere un despliegue local y privado.
2. Evaluación Empírica Sistemática: Este trabajo ofrece la primera comparación sistemática de APE frente al prompting clásico para la clasificación de requisitos a través de múltiples datasets y LLMs. Demuestra que la APE se transfiere de forma robusta a las tareas de RE con grandes tamaños de efecto.
3. Perspectivas sobre la Evolución de los Prompts: El estudio identifica características estructurales y semánticas específicas de los prompts efectivos (concisos, orientados a la acción, estructuralmente claros) y muestra que la inicialización informada por el dominio no es estrictamente necesaria para que el proceso de optimización tenga éxito.

Los autores posicionan a BT-APE como una solución práctica que cierra la brecha entre el alto rendimiento de la optimización de prompts automatizada y las restricciones de recursos de los entornos reales de RE. Liberan una herramienta interactiva y un paquete de replicación para facilitar su adopción y la investigación posterior.