Resumo Técnico: FMBench: Formatação Adaptativa de Saída de Grandes Modelos de Linguagem

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado fortes capacidades em seguir instruções de linguagem natural e gerar respostas semanticamente coerentes, eles frequentemente falham em aderir a restrições estritas de formatação de saída exigidas em ambientes de produção. Especificamente, o Markdown — um padrão de fato para assistentes de chat, documentação e pipelines aumentados por ferramentas — é propenso a erros estruturais sutis, mas críticos. Estes incluem listas aninhadas quebradas, tabelas malformadas, hierarquias de cabeçalhos inconsistentes e blocos de código desbalanceados. Tais erros, embora muitas vezes menores ao nível do token, degradam desproporcionalmente a usabilidade downstream, a confiabilidade do parsing e a legibilidade humana.

As abordagens existentes enfrentam limitações significativas:

• Engenharia de Prompt: Altamente sensível à fraseologia e ao contexto, muitas vezes carecendo de robustez.
• Decodificação Restrita (Constrained Decoding): Garante validade sintática, mas introduz overhead de inferência e pode conflitar com a tokenização ou fluência semântica do modelo, particularmente em saídas híbridas.
• Ajuste Fino Supervisionado (SFT): Frequentemente sofre overfitting a regularidades superficiais nos dados de treinamento em vez de aprender princípios de formatação robustos e conscientes do contexto.
• Aprendizado por Reforço (RL): Embora promissor, os métodos existentes frequentemente dependem de engenharia de recompensa específica para tarefas ou definições de regras rígidas que carecem de flexibilidade entre diversos esquemas de formatação.

Além disso, os benchmarks atuais raramente isolam o cenário de Markdown, tornando difícil diagnosticar falhas de formatação sob cenários realistas de seguimento de instrução. Há uma falta de um framework de avaliação focado que equilibre correção semântica com conformidade estrutural.

Metodologia

1. FMBench: Um Benchmark para Formatação de Markdown

Os autores introduzem o FMBench, um benchmark projetado para avaliar a formatação de saída Markdown adaptativa sob configurações realistas de seguimento de instrução.

• Pipeline de Construção de Dados: Um pipeline semiautomático de quatro estágios gera dados de alta qualidade e estritamente formatados:
  1. Raspagem de Documentos (Document Crawling): Coleta de documentos brutos de oito domínios (acadêmico, jurídico, técnico, etc.).
  2. Limpeza de Documentos: Padronização e remoção de ruído.
  3. Formatação por LLM: Aplicação de três regras de formatação para gerar dados estruturados em níveis variados de dificuldade.
  4. Refinamento Humano: Revisão por especialistas para corrigir gramática, polir o estilo e garantir a conformidade estrutural.
• Composição do Dataset: O dataset contém 1.100 documentos Markdown de alta qualidade (800 para treinamento, 300 para teste). Apresenta um design estrutural equilibrado onde a complexidade é impulsionada pela profundidade de listas aninhadas e contagem de itens, em vez de contagens extremas de seções.
• Métricas de Avaliação:
  • Pontuação Semântica (Semantic Score): Medida via BERTScore-F1 entre a saída gerada e o texto de referência para avaliar a preservação do conteúdo.
  • Pontuação Estrutural (Structure Score): Uma recompensa estrutural que mede a conformidade com a formatação alvo e a organização do documento (ex: hierarquia, tipos de bloco).

2. Pipeline de Treinamento: SFT + Aprendizado por Reforço

O artigo propõe um pipeline de pós-treinamento leve para melhorar a conformidade com o Markdown sem depender de restrições de decodificação rígidas no momento da inferência.

• Estágio 1: Ajuste Fino Supervisionado (SFT):
  • Modelos base (OpenPangu e Qwen) são ajustados finamente em pares de instrução-resposta usando Low-Rank Adaptation (LoRA).
  • Este estágio foca em adaptar o modelo para a tarefa de geração de texto formatado e melhorar o alinhamento semântico.
• Estágio 2: Ajuste Fino por Aprendizado por Reforço (RLFT):
  • Após o SFT, o modelo passa por ajuste fino de RL usando GRPO (Group Relative Policy Optimization).
  • Design de Recompensa: Um objetivo composto equilibra fidelidade semântica e correção estrutural:
    $$r = \lambda_1 r_{sem} + \lambda_2 r_{struct}$$
    • $r_{sem}$: Computado via BERTScore-F1 entre a saída e a referência (usando um codificador Longformer para documentos longos).
    • $r_{struct}$: Visa a similaridade organizacional de alto nível comparando resumos abstrativos da saída gerada e da referência.
  • A política é otimizada via comparações de recompensa relativa por grupo, amostrando quatro gerações candidatas paralelas por prompt.

Principais Contribuições

1. Benchmark (FMBench): O primeiro benchmark focado exclusivamente na formatação de saída Markdown, abrangendo diversos requisitos estruturais (seções hierárquicas, composição mista de prosa-lista-tabela, blocos de código) e avaliando tanto os eixos semântico quanto estrutural.
2. Método: Uma receita prática de pós-treinamento combinando SFT e RL (especificamente GRPO) que melhora a conformidade com o Markdown enquanto mantém a fidelidade semântica, eliminando a necessidade de restrições rígidas durante a inferência.
3. Análise: Resultados empíricos em duas famílias de modelos (OpenPangu e Qwen) revelando o trade-off inerente entre objetivos semânticos e estruturais e demonstrando a necessidade de recompensas cuidadosamente projetadas.

Resultados Experimentais

Experimentos foram conduzidos nos modelos OpenPangu (1B, 7B) e Qwen3 (1.7B, 8B).

• Desempenho Geral: O pipeline completo (SFT + GRPO) superou consistentemente os baselines pré-treinados tanto em fidelidade semântica quanto em conformidade estrutural.
• Efeitos de Escala do Modelo:
  • Impacto do SFT: O SFT impulsionou consistentemente melhorias no alinhamento semântico em todos os tamanhos de modelo. O desempenho estrutural permaneceu amplamente inalterado ou ligeiramente melhorado após apenas o SFT.
  • Impacto do GRPO: Adicionar GRPO sobre o SFT melhorou ainda mais ou preservou melhor as pontuações estruturais. Para modelos menores, o GRPO às vezes realizou um leve trade-off de precisão semântica por uma consistência estrutural mais forte. No entanto, para modelos maiores (ex: Qwen3-8B), a combinação alcançou o melhor desempenho geral em ambas as métricas, sugerindo que uma maior capacidade do modelo é crucial para otimizar conjuntamente esses objetivos concorrentes.
• Descoberta Chave: O SFT é o fator dominante para a melhoria semântica, enquanto o GRPO serve como um mecanismo complementar para reforçar a robustez estrutural, particularmente quando inicializado a partir de uma política SFT forte.

Significância e Alegações

O artigo postula que a implantação confiável de LLMs em fluxos de trabalho voltados para o usuário e integrados a sistemas depende não apenas da correção semântica, mas também de uma formatação estável e utilizável por humanos.

• Formatação como um Objetivo de Alinhamento: Os autores argumentam que o comportamento de formatação deve ser tratado como um objetivo de alinhamento explícito, e não como um subproduto do seguimento de instruções.
• Consciência de Trade-off: Os resultados destacam uma tensão inerente entre os objetivos semânticos e estruturais. Aumentar ingenuamente os pesos de recompensa estrutural pode levar a saídas excessivamente regularizadas e em formato de template que distorcem o conteúdo. Portanto, os designs de recompensa devem ser tanto fundamentados em validadores quanto condicionados à instrução.
• Utilidade Prática: O FMBench é apresentado como uma ferramenta de diagnóstico para motivar mais pesquisas em métodos de alinhamento que tratam a formatação como um requisito de confiabilidade de primeira classe para geração estruturada dependável.

Os autores reconhecem limitações, incluindo a incapacidade de cobrir toda a cauda longa de estilos de autoria do mundo real, a subjetividade de certas escolhas estruturais e a dependência de avaliação baseada em referência, que pode perder múltiplas realizações válidas da mesma intenção. Eles sugerem que trabalhos futuros devem explorar abordagens híbridas de aprendizado de restrição, expansão para outros formatos estruturados (JSON/YAML) e avaliação centrada no humano.