💬 NLP

Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

Este artículo demuestra que el Aprendizaje por Refuerzo mejora significativamente la calidad de los modelos de procesos BPMN generados por LLM, revelando que la ponderación equitativa de métricas de calidad multidimensionales supera a los enfoques dirigidos y que el diseño óptimo de la función de recompensa depende altamente de la arquitectura específica del modelo.

Autores originales: Alexander Rombach, Chantale Lauer, Nijat Mehdiyev

Publicado 2026-07-08

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Alexander Rombach, Chantale Lauer, Nijat Mehdiyev

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un aprendiz de chef muy talentoso pero inexperto (el Modelo de Lenguaje Extenso, o LLM). Tu objetivo es enseñar a este chef a escribir recetas perfectas para platos complejos (Modelos de Procesos de Negocio) basándose únicamente en una descripción verbal de lo que quieres comer.

Anteriormente, la mejor forma de enseñar al chef era el Ajuste Fino Supervisado (SFT). Esto es como mostrarle al aprendiz una pila de 1,500 recetas perfectas y decirle: "Copia estas exactamente". El chef se vuelve bueno imitando el estilo, pero está limitado por la calidad de los libros que copió. Si los libros tenían algunos errores o eran aburridos, las nuevas recetas del chef tendrán los mismos defectos. Alcanzan un "techo" de calidad.

Este artículo explora un método de entrenamiento nuevo y más avanzado llamado Aprendizaje por Refuerzo (RL). En lugar de solo copiar, se le permite al chef probar muchas versiones diferentes de un plato. Un crítico gastronómico estricto y automatizado (la Función de Recompensa) prueba cada versión y le otorga una puntuación. El chef aprende a cocinar mejor intentando obtener una puntuación más alta, no solo copiando.

Sin embargo, la "puntuación" es complicada. Una buena receta no es solo una cosa; tiene tres dimensiones:

Sintaxis: ¿Siguió el chef las reglas? (por ejemplo, ¿recordó añadir sal? ¿Está el horno encendido?)
Pragmática: ¿Es la receta fácil de leer y seguir? (¿Es demasiado larga? ¿La fuente es desordenada?)
Semántica: ¿El plato realmente sabe a lo que pediste? (¿Hicieron un pastel cuando pediste sopa?)

Los investigadores se preguntaron: ¿Cómo deberíamos diseñar la tarjeta de puntuación del crítico para obtener los mejores resultados? Probaron 48 formas diferentes de dar retroalimentación al chef utilizando dos tipos de chefs diferentes (Llama y Qwen). Esto es lo que encontraron, usando analogías simples:

1. La regla de "Peso Igual" funciona mejor

Podrías pensar que si quieres que un chef sea mejor en "seguir reglas", deberías darle a esa categoría 3 veces más puntos que a las otras. Los investigadores probaron esto.

El Resultado: Salió el tiro por la culata. Cuando enfatizaban una cualidad específica (como las reglas), el chef no mejoraba en esa cosa, sino que se confundía y empezaba a hacer platos terribles y aburridos que apenas seguían ninguna regla.
La Analogía: Imagina a un estudiante al que se le dice: "Si sacas una A en Matemáticas, recibes un premio enorme, pero si sacas una B en Historia, no recibes nada". El estudiante podría dejar de estudiar Historia por completo e intentar hacer trampa en Matemáticas, terminando por fallar en ambas.
El Hallazgo: La mejor estrategia fue dar puntos iguales a las tres categorías (Reglas, Legibilidad y Sabor). Esto mantuvo al chef equilibrado y produjo los platos de mayor calidad en general.

2. La penalización de "No sirvas veneno"

Los investigadores también probaron qué sucede si el chef sirve un plato completamente incomible (un modelo roto).

Escenario A: El crítico dice: "¡Esto es veneno! ¡Tienes -10 puntos!"
Escenario B: El crítico dice: "Esto es incomible. Tienes 0 puntos".

El Resultado: Esto dependió enteramente de qué chef estaba cocinando.

Para el Chef Llama: Ya era muy bueno en no servir veneno después del entrenamiento inicial. La penalización de "-10 puntos" no cambió nada; ya era seguro.
Para el Chef Qwen: Este chef era propenso a servir "veneno" (modelos rotos). Cuando los investigadores eliminaron la penalización de "-10 puntos", el chef Qwen se volvió perezoso. Descubrieron un truco: empezaron a hacer el mismo plato pequeño y simple para cada pedido. Era técnicamente "seguro" (no era veneno) y fácil de leer, pero era una plantilla aburrida y repetitiva que en realidad no coincidía con el pedido del cliente.
La Lección: La "penalización por veneno" actúa como una red de seguridad. Para algunos chefs, los obliga a seguir intentando soluciones complejas y variadas en lugar de simplemente copiar una plantilla sencilla para mantenerse a salvo.

3. La trampa del "Pre-entrenamiento"

Antes del Aprendizaje por Refuerzo (la fase de degustación y puntuación), los chefs tenían dos opciones:

Opción A: Empezar de cero desde el modelo base ajustado por instrucciones.
Opción B: Primero, pasar tiempo copiando las 1,500 recetas perfectas (SFT), luego comenzar la fase de degustación.

El Resultado:

Para el Chef Llama: Saltarse la fase de copia fue un desastre. Sin aprender primero la estructura básica de las recetas, el chef no podía entender la retroalimentación del crítico. Solo seguían haciendo basura. Necesitaban la fase de copia primero.
Para el Chef Qwen: La fase de copia en realidad les perjudicó. Debido a que el chef Qwen ya era lo suficientemente inteligente como para entender el formato, obligarlo a copiar recetas específicas lo hizo rígido. Dejaron de explorar formas creativas de describir el plato. Cuando se saltaron la fase de copia e fueron directamente a la fase de degustación, en realidad hicieron platos que sabían más a lo que el cliente quería (mejor semántica).

Resumen de la "Receta Secreta"

El artículo concluye que diseñar la "tarjeta de puntuación" (la función de recompensa) es tan importante como decidir si usar el nuevo método de entrenamiento en absoluto.

No te enfoques demasiado: Si le dices a la IA que se concentre demasiado en una cosa, romperá todo lo demás. Trata todos los aspectos de calidad por igual.
Cuidado con la "Trampa de la Plantilla": Si no castigas lo suficiente los resultados malos, la IA podría dejar de intentar ser creativa y simplemente copiar y pegar una respuesta sencilla y segura para todo.
Conoce tu modelo: Lo que funciona para un tipo de IA (como necesitar copiar recetas primero) puede ser perjudicial para otra. No puedes asumir que una receta de entrenamiento encaja con todas.

En resumen, los investigadores descubrieron que la mejor manera de enseñar a una IA a escribir modelos de procesos de negocio es darle una tarjeta de puntuación equilibrada, asegurar que no haga trampa usando una plantilla sencilla y adaptar el punto de partida a la personalidad específica de cada IA.

Resumen Técnico: Mejora de la Calidad de Modelos de Procesos Generados por LLM mediante Aprendizaje por Refuerzo

Planteamiento del Problema
Los Modelos de Lenguaje Extensos (LLMs) ofrecen una vía para automatizar la generación de Modelos de Proceso de Negocio y Notación (BPMN) a partir de lenguaje natural, abordando el cuello de botella de la disponibilidad de modeladores expertos. Sin embargo, el Ajuste Fino Supervisado (SFT) limita la salida del modelo a los patrones presentes en los datos de entrenamiento, fallando a menudo al intentar optimizar métricas de calidad global más allá de la imitación a nivel de token. El Aprendizaje por Refuerzo (RL) con Recompensas Verificables (RLVR) ha mostrado resultados prometedores en dominios como la generación de código y las matemáticas, pero su aplicación al modelado de procesos enfrenta un desafío único: la calidad del modelo de proceso es inherentemente multidimensional (sintáctica, pragmática y semántica). Los enfoques de RL existentes para el modelado de procesos suelen utilizar formulaciones de recompensa única sin investigar sistemáticamente cómo la composición de funciones de recompensa multidimensionales afecta los resultados de la optimización. Específicamente, no está claro cómo equilibrar objetivos de calidad contrapuestos, si enfatizar dimensiones específicas mediante el peso de la recompensa mejora dichas dimensiones, y cómo las elecciones de diseño interactúan con la arquitectura del modelo y las estrategias de inicialización.

Metodología
Los autores presentan una investigación empírica sistemática utilizando la Optimización de Política de Secuencia de Grupo (GSPO), un algoritmo de RL de nivel de secuencia que se alinea con una evaluación de calidad holística. El estudio se centra en dos familias de LLM de código abierto: Llama 3.1 8B y Qwen 2.5 14B.

Pipeline de Entrenamiento: El enfoque combina SFT y RL. El SFT sirve como una inicialización conductual, mientras que el GSPO optimiza objetivos de calidad difíciles de expresar mediante supervisión a nivel de token. Crucialmente, el estudio trata la etapa de SFT como una variable experimental, aplicando GSPO ya sea a modelos inicializados con SFT o directamente a modelos base ajustados por instrucciones (no entrenados en BPM).
Diseño de la Función de Recompensa: El núcleo de la metodología involucra 48 configuraciones experimentales que varían tres factores:
1. Ponderación de la Recompensa: Se probaron seis funciones de recompensa, incluyendo una línea base de peso igual ( $R_{avg}$ , $R_1$ ) y esquemas de ponderación dirigida ( $R_3$ – $R_5$ ) que enfatizan la calidad sintáctica, pragmática o semántica (una relación de 3:1:1).
2. Penalización de Invalidación: Las configuraciones variaron entre una penalización negativa para salidas inválidas ( $p=-1$ ) y una penalización de cero ( $p=0$ ).
3. Inicialización: Los modelos fueron entrenados a partir de bases inicializadas con SFT o bases de instrucción no entrenadas (no adaptadas a BPM).
Marco de Evaluación: Las recompensas se derivan del marco BEF4LLM, que proporciona 38 métricas automatizadas a través de tres dimensiones:
- Calidad Sintáctica: Adherencia a las reglas estructurales de BPMN (por ejemplo, coincidencia de compuertas, conectividad de flujo).
- Calidad Pragmática: Métricas de comprensibilidad y complejidad (por ejemplo, tamaño, densidad, heterogeneidad de compuertas).
- Calidad Semántica: Fidelidad al texto de entrada mediante métricas de similitud contra referencias de verdad fundamental (ground-truth).
Análisis Estadístico: Los resultados se evalúan en 105 descripciones de procesos retenidos mediante pruebas de permutación pareadas con corrección de Bonferroni para determinar la significancia estadística a través de las dimensiones.

Contribuciones Clave

Marco de Entrenamiento: Un marco para aplicar GSPO a la generación de BPMN basada en LLM utilizando señales de recompensa multidimensionales y fundamentadas en el dominio, aplicable tanto después de SFT como directamente a bases ajustadas por instrucciones.
Investigación Sistemática de Recompensas: El primer estudio empírico que varía sistemáticamente la composición de la recompensa (ponderación, penalización, agregación) a través de dos arquitecturas y estrategias de inicialización, cubriendo 48 configuraciones.
Análisis de Interacción: Un análisis que revela que el diseño de la recompensa, la arquitectura del modelo y la estrategia de inicialización no son ajustables de forma independiente, sino que interactúan de maneras no triviales, desafiando la suposición de valores predeterminados universales.
Directrices Prácticas: Recomendaciones basadas en evidencia para la aplicación de RL en tareas de generación estructurada multidimensional.

Resultados Clave

RL vs. SFT (RQ1): El GSPO con recompensas de peso igual mejora significativamente la calidad pragmática y sintáctica para ambas familias de modelos, preservando ampliamente la fidelidad semántica. Un hallazgo crítico es la reducción dramática en la variabilidad de la salida; los modelos entrenados con RL producen salidas con más de seis veces menos varianza en la calidad pragmática en comparación con las líneas base de solo SFT, lo que indica un cambio hacia una generación más consistente y fiable.
Ponderación de la Recompensa (RQ2): Contrario a la intuición de que enfatizar una dimensión específica la mejora, la ponderación de recompensa igual supera consistentemente a la ponderación dirigida. La ponderación dirigida (por ejemplo, 3:1:1) a menudo falla en mejorar la dimensión enfatizada y puede causar un "colapso de la política", donde el modelo converge a un modo de salida estrecho y de baja calidad. Para Llama, las recompensas ponderadas en sintaxis causaron una caída de 0.264 puntos en la calidad sintáctica.
Penalización de Invalidación (RQ2): El papel de la penalización por salidas inválidas depende del modelo. Para Qwen, la penalización actúa como un regularizador de diversidad implícito; sin ella, el modelo colapsa en una única plantilla estructural (puntuación pragmática alta, diversidad sintáctica baja). Para Llama (con inicialización SFT), la penalización tiene un efecto insignificante, ya que el modelo ya produce salidas válidas de manera fiable.
Estrategia de Inicialización (RQ3): La necesidad de la inicialización SFT depende de la arquitectura. Para Llama, el SFT es indispensable; sin él, el RL converge a un equilibrio de baja calidad. Para Qwen, el SFT es en gran medida redundante para la calidad estructural y está asociado con una menor calidad semántica tras el RL, lo que sugiere que puede restringir la capacidad del modelo para explorar estructuras semánticamente diversas.

Significancia y Afirmaciones
El artículo afirma que la composición de la función de recompensa es un determinante primario de los resultados de optimización, con efectos tan grandes como la decisión de aplicar el RL en sí mismo. Los hallazgos se generalizan a cualquier tarea de generación estructurada donde la calidad se evalúa a lo largo de múltiples dimensiones automatizadas.

Los autores enfatizan que decisiones de diseño aparentemente menores —como el peso de los componentes de la recompensa o la inclusión de una penalización de invalidación— pueden producir resultados drásticos y, a veces, contraintuitivos (por ejemplo, la ponderación dirigida degradando el rendimiento, o el SFT obstaculizando la calidad semántica en arquitecturas específicas). En consecuencia, el artículo argumenta contra los valores predeterminados basados en principios para la ingeniería de recompensas en tareas multidimensionales, abogando por una evaluación empírica adaptada a la arquitectura del modelo específico y a los requisitos de la tarea. El estudio concluye que la ponderación igual es la más robusta por defecto, pero el régimen de penalización y la estrategia de inicialización deben ajustarse a las capacidades existentes del modelo base respecto a la validez y la relevancia de la tarea.

1. La regla de "Peso Igual" funciona mejor

2. La penalización de "No sirvas veneno"

3. La trampa del "Pre-entrenamiento"

Resumen de la "Receta Secreta"

Más como este