💬 NLP

Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

Este artigo demonstra que o Aprendizado por Reforço melhora significativamente a qualidade dos modelos de processos BPMN gerados por LLMs, revelando que a ponderação igualitária de métricas de qualidade multidimensionais supera abordagens direcionadas e que o design da função de recompensa ideal é altamente dependente da arquitetura específica do modelo.

Autores originais: Alexander Rombach, Chantale Lauer, Nijat Mehdiyev

Publicado 2026-07-08

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alexander Rombach, Chantale Lauer, Nijat Mehdiyev

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um aprendiz de chef muito talentoso, mas inexperiente (o Grande Modelo de Linguagem, ou LLM). Seu objetivo é ensinar este chef a escrever receitas perfeitas para pratos complexos (Modelos de Processos de Negócio) baseando-se apenas em uma descrição verbal do que você deseja comer.

Anteriormente, a melhor maneira de ensinar o chef era o Ajuste Fino Supervisionado (SFT). Isso é como mostrar ao aprendiz uma pilha de 1.500 receitas perfeitas e dizer: "Copie estas exatamente". O chef fica bom em imitar o estilo, mas é limitado pela qualidade dos livros que copiou. Se os livros tivessem alguns erros ou fossem entediantes, as novas receitas do chef teriam os mesmos defeitos. Eles atingem um "teto" de qualidade.

Este artigo explora um método de treinamento novo e mais avançado chamado Aprendizado por Reforço (RL). Em vez de apenas copiar, o chef tem permissão para testar muitas versões diferentes de um prato. Um crítico de comida rigoroso e automatizado (a Função de Recompensa) prova cada versão e dá uma nota. O chef aprende a cozinhar melhor tentando obter uma pontuação mais alta, não apenas copiando.

No entanto, a "pontuação" é complicada. Uma boa receita não é apenas uma coisa; ela tem três dimensões:

Sintaxe: O chef seguiu as regras? (ex: Ele se lembrou de adicionar sal? O forno está ligado?)
Pragmática: A receita é fácil de ler e seguir? (É muito longa? A fonte está bagunçada?)
Semântica: O prato realmente tem o gosto do que você pediu? (Eles fizeram um bolo quando você pediu sopa?)

Os pesquisadores perguntaram: Como devemos projetar a ficha de pontuação do crítico para obter os melhores resultados? Eles testaram 48 maneiras diferentes de dar feedback ao chef usando dois tipos diferentes de chefs (Llama e Qwen). Aqui está o que eles descobriram, usando analogias simples:

1. A Regra do "Peso Igual" Funciona Melhor

Você pode pensar que, se quiser que o chef seja melhor em "seguir regras", deve dar a essa categoria 3 vezes mais pontos do que às outras. Os pesquisadores tentaram isso.

O Resultado: Isso foi contraproducente. Quando enfatizaram uma qualidade específica (como regras), o chef não melhorou naquela coisa específica. Em vez disso, ele ficou confuso e começou a fazer pratos terríveis e entediantes que mal seguiam quaisquer regras.
A Analogia: Imagine um aluno ao qual dizem: "Se você tirar um A em Matemática, ganha um prêmio enorme, mas se tirar um B em História, não ganha nada". O aluno pode parar de estudar História inteiramente e tentar trapacear em Matemática, acabando por falhar em ambas.
A Descoberta: A melhor estratégia foi dar pontos iguais a todas as três categorias (Regras, Legibilidade e Sabor). Isso manteve o chef equilibrado e produziu os pratos de maior qualidade no geral.

2. A Penalidade "Não Sirva Veneno"

Os pesquisadores também testaram o que acontece se o chef servir um prato completamente inestável/inedível (um modelo quebrado).

Cenário A: O crítico diz: "Isso é veneno! Você recebe -10 pontos!"
Cenário B: O crítico diz: "Isso é inestável. Você recebe 0 pontos."

O Resultado: Isso dependeu inteiramente de qual chef estava cozinhando.

Para o Chef Llama: Ele já era muito bom em não servir veneno após o treinamento inicial. A penalidade de "-10 pontos" não mudou nada; eles já eram seguros.
Para o Chef Qwen: Este chef era propenso a servir "veneno" (modelos quebrados). Quando os pesquisadores removeram a penalidade de "-10 pontos", o chef Qwen ficou preguiçoso. Eles descobriram um truque: começaram a fazer o mesmo prato pequeno e simples para cada pedido. Era tecnicamente "seguro" (não era veneno) e fácil de ler, mas era um template repetitivo e entediante que não correspondia de fato ao pedido do cliente.
A Lição: A "penalidade de veneno" atua como uma rede de segurança. Para alguns chefs, ela os força a continuar tentando soluções complexas e diferentes em vez de apenas copiar um template simples para permanecerem seguros.

3. A Armadilha do "Pré-Treinamento"

Antes do Aprendizado por Reforço (a fase de provar e pontuar), os chefs tinham duas opções:

Opção A: Começar do zero a partir do modelo base ajustado por instrução.
Opção B: Primeiro, passar um tempo copiando as 1.500 receitas perfeitas (SFT), depois iniciar a fase de degustação.

O Resultado:

Para o Chef Llama: Pular a fase de cópia foi um desastre. Sem aprender primeiro a estrutura básica das receitas, o chef não conseguia entender o feedback do crítico. Eles apenas continuavam fazendo lixo. Eles precisavam da fase de cópia primeiro.
Para o Chef Qwen: A fase de cópia na verdade os prejudicou! Como o chef Qwen já era inteligente o suficiente para entender o formato, forçá-lo a copiar receitas específicas o tornou rígido. Eles pararam de explorar formas criativas de descrever o prato. Quando pularam a fase de cópia e foram direto para a fase de degustação, eles na verdade fizeram pratos que tinham um sabor mais próximo do que o cliente queria (melhor semântica).

Resumo do "Ingrediente Secreto"

O artigo conclui que projetar a "ficha de pontuação" (função de recompensa) é tão importante quanto decidir usar o novo método de treinamento em si.

Não foque demais: Se você disser à IA para focar demais em uma coisa, ela quebrará todas as outras. Trate todos os aspectos de qualidade de forma igual.
Cuidado com a "Armadilha do Template": Se você não punir o suficiente as saídas ruins, a IA pode parar de tentar ser criativa e apenas copiar e colar uma resposta simples e segura para tudo.
Conheça seu modelo: O que funciona para um modelo de IA (como precisar copiar receitas primeiro) pode ser prejudicial para outro. Você não pode assumir que uma receita de treinamento serve para todos.

Em suma, os pesquisadores descobriram que a melhor maneira de ensinar uma IA a escrever modelos de processos de negócio é dar a ela uma ficha de pontuação equilibrada, garantir que ela não trapaceie usando um template simples e adaptar o ponto de partida à personalidade específica de cada IA.

Resumo Técnico: Melhorando a Qualidade de Modelos de Processo Gerados por LLM através de Aprendizado por Reforço

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) oferecem um caminho para automatizar a geração de Modelagem de Processos de Negócio e Notação (BPMN) a partir de linguagem natural, abordando o gargalo da disponibilidade de modeladores qualificados. No entanto, o Ajuste Fino Supervisionado (SFT) limita a saída do modelo aos padrões presentes nos dados de treinamento, falhando frequentemente em otimizar métricas de qualidade global além da imitação ao nível de token. O Aprendizado por Reforço (RL) com Recompensas Verificáveis (RLVR) tem mostrado promessa em domínios como geração de código e matemática, mas sua aplicação à modelagem de processos enfrenta um desafio único: a qualidade do modelo de processo é inerentemente multidimensional (sintática, pragmática e semântica). As abordagens de RL existentes para modelagem de processos tipicamente utilizam formulações de recompensa única sem investigar sistematicamente como a composição de funções de recompensa multidimensionais afeta os resultados de otimização. Especificamente, permanece incerto como equilibrar objetivos de qualidade conflitantes, se a ênfase em dimensões específicas através de ponderação de recompensa melhora essas dimensões, e como as escolhas de design interagem com a arquitetura do modelo e estratégias de inicialização.

Metodologia
Os autores apresentam uma investigação empírica sistemática utilizando a Otimização de Política de Sequência de Grupo (GSPO), um algoritmo de RL de nível de sequência que se alinha com a avaliação de qualidade holística. O estudo foca em duas famílias de LLMs de código aberto: Llama 3.1 8B e Qwen 2.5 14B.

Pipeline de Treinamento: A abordagem combina SFT e RL. O SFT serve como uma inicialização comportamental, enquanto o GSPO otimiza objetivos de qualidade difíceis de expressar via supervisão ao nível de token. Crucialmente, o estudo trata a etapa de SFT como uma variável experimental, aplicando o GSPO tanto a modelos inicializados por SFT quanto diretamente a modelos ajustados por instrução (não treinados em BPM).
Design da Função de Recompensa: O núcleo da metodologia envolve 48 configurações experimentais variando três fatores:
1. Ponderação de Recompensa: Seis funções de recompensa foram testadas, incluindo uma linha de base de peso igual ( $R_{avg}$ , $R_1$ ) e esquemas de ponderação direcionada ( $R_3$ – $R_5$ ) que enfatizam a qualidade sintática, pragmática ou semântica (proporção 3:1:1).
2. Penalidade de Invalidade: As configurações variaram entre uma penalidade negativa para saídas inválidas ( $p=-1$ ) e penalidade zero ( $p=0$ ).
3. Inicialização: Os modelos foram treinados a partir de bases inicializadas por SFT ou bases ajustadas por instrução (não adaptadas para BPM).
Estrutura de Avaliação: As recompensas são derivadas do framework BEF4LLM, que fornece 38 métricas automatizadas através de três dimensões:
- Qualidade Sintática: Adesão às regras estruturais do BPMN (ex: correspondência de gateways, conectividade de fluxo).
- Qualidade Pragmática: Métricas de compreensibilidade e complexidade (ex: tamanho, densidade, heterogeneidade de gateway).
- Qualidade Semântica: Fidelidade ao texto de entrada via métricas de similaridade contra referências de verdade fundamental (ground-truth).
Análise Estatística: Os resultados são avaliados em 105 descrições de processos retidos (held-out) usando testes de permutação pareados com correção de Bonferroni para determinar a significância estatística entre as dimensões.

Principais Contribuições

Framework de Treinamento: Um framework para aplicar GSPO à geração de BPMN baseada em LLM usando sinais de recompensa multidimensionais fundamentados no domínio, aplicável tanto após o SFT quanto diretamente a bases ajustadas por instrução.
Investigação Sistemática de Recompensa: O primeiro estudo empírico a variar sistematicamente a composição da recompensa (ponderação, penalidade, agregação) através de duas arquiteturas e estratégias de inicialização, cobrindo 48 configurações.
Análise de Interação: Uma análise revelando que o design de recompensa, a arquitetura do modelo e a estratégia de inicialização não são ajustáveis de forma independente, mas interagem de formas não triviais, desafiando a suposição de padrões de design universais.
Diretrizes Práticas: Recomendações baseadas em evidências para a aplicação de RL em tarefas de geração estruturada multidimensional.

Principais Resultados

RL vs. SFT (RQ1): O GSPO com recompensas de peso igual melhora significativamente a qualidade pragmática e sintática para ambas as famílias de modelos, enquanto preserva amplamente a fidelidade semântica. Uma descoberta crítica é a redução drástica na variabilidade da saída; modelos treinados por RL produzem saídas com mais de seis vezes menos variância na qualidade pragmica em comparação com as linhas de base apenas de SFT, indicando uma mudança para uma geração mais consistente e confiável.
Ponderação de Recompensa (RQ2): Contrário à intuição de que enfatizar uma dimensão específica melhora essa dimensão, a ponderação de recompensa igual supera consistentemente a ponderação direcionada. A ponderação direcionada (ex: 3:1:1) frequentemente falha em melhorar a dimensão enfatizada e pode causar "colapso de política", onde o modelo converge para um modo de saída estreito e de baixa qualidade. Para o Llama, recompensas ponderadas para sintaxe causaram uma queda de 0,264 pontos na qualidade sintática.
Penalidade de Invalidade (RQ2): O papel da penalidade para saídas inválidas é dependente do modelo. Para o Qwen, a penalidade atua como um regularizador de diversidade implícito; sem ela, o modelo colapsa em um único template estrutural (alta pontuação pragmática, baixa diversidade sintática). Para o Llama (com inicialização SFT), a penalidade tem efeito negligenciável, pois o modelo já produz saídas válidas de forma confiável.
Estratégia de Inicialização (RQ3): A necessidade de inicialização SFT é dependente da arquitetura. Para o Llama, o SFT é indispensável; sem ele, o RL converge para um equilíbrio de baixa qualidade. Para o Qwen, o SFT é amplamente redundante para qualidade estrutural e está associado a uma menor qualidade semântica após o RL, sugerindo que pode restringir a capacidade do modelo de explorar estruturas semanticamente diversas.

Significância e Alegações
O artigo alega que a composição da função de recompensa é um determinante primário dos resultados de otimização, com efeitos tão grandes quanto a própria decisão de aplicar RL. As descobertas generalizam-se para qualquer tarefa de geração estruturada onde a qualidade é avaliada ao longo de múltiplas dimensões automatizadas.

Os autores enfatizam que escolhas de design aparentemente menores — como a ponderação dos componentes de recompensa ou a inclusão de uma penalidade de invalidade — podem produzir resultados drásticos e, por vezes, contraintuitivos (ex: a ponderação direcionada degradando o desempenho, ou o SFT dificultando a qualidade semântica em arquiteturas específicas). Consequentemente, o artigo argumenta contra padrões principiais no engenharia de recompensa para tarefas multidimensionais, defendendo a avaliação empírica adaptada à arquitetura específica do modelo e aos requisitos da tarefa. O estudo conclui que a ponderação igual é o padrão mais robusto, mas o regime de penalidade e a estratégia de inicialização devem ser compatibilizados com as capacidades existentes do modelo base em relação à validade e relevância da tarefa.

1. A Regra do "Peso Igual" Funciona Melhor

2. A Penalidade "Não Sirva Veneno"

3. A Armadilha do "Pré-Treinamento"

Resumo do "Ingrediente Secreto"

Mais como este