Resumo Técnico: Desacoplamento de Resolução de Tarefas e Formatação de Saída na Geração de LLMs

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) têm demonstrado proficiência crescente em tarefas de raciocínio complexo, como resolução de problemas matemáticos e avaliação automática. No entanto, o desempenho frequentemente degrada quando os prompts combinam instruções de tarefa com requisitos rígidos de formato de saída. Este "emaranhamento" força o modelo a otimizar simultaneamente o raciocínio preciso e a adesão estrita ao formato, criando objetivos conflitantes que prejudicam as capacidades de raciocínio do modelo.

Abordagens existentes tentam mitigar isso através de duas vias principais, ambas com limitações:

1. Relaxamento de Restrições: Remover ou suavizar os requisitos de formato frequentemente leva a taxas de conformidade baixas, tornando as saídas inutilizáveis para aplicações estruturadas.
2. Decodificação Restrita: Frameworks como Outlines ou Guidance impõem transições de tokens estritas para garantir a conformidade de formato. No entanto, esses métodos costumam intervir de forma invasiva, interrompendo o fluxo de raciocínio interno do modelo e levando a cortes abruptos ou saídas incoerentes.

Estudos recentes (ex: Tam et al., 2024; Long et al., 2025) indicam que restrições mais estritas correlacionam-se com uma maior degradação do raciocínio, sugerindo a necessidade crítica de um framework que desacople as restrições de formato da resolução da tarefa sem sacrificar o potencial de raciocínio do LLM.

Metodologia: DECO-G

Os autores propõem o DECO-G, um framework de decodificação que separa explicitamente o raciocínio da tarefa da formatação da saída. A filosofia central é delegar a adesão ao formato a um módulo auxiliar, permitindo que o LLM principal foque exclusivamente na resolução do problema.

Arquitetura

O framework opera através de um sistema de dois módulos:

1. LLM de Resolução de Tarefa: Recebe apenas o prompt específico da tarefa (ex: um problema matemático) sem instruções explícitas de formatação.
2. Módulo de Estimativa de Formato (FEM): Recebe as restrições de formato (ex: "A resposta final é..."). O FEM realiza um olhar à frente (lookahead) probabilístico para estimar a probabilidade de que sequências de tokens futuras satisfaçam as restrições de formato.

Em cada etapa de decodificação, a probabilidade de conformidade estimada pelo FEM é usada para reponderar a distribuição original de tokens do LLM. A distribuição de probabilidade final é construída como:
$$P(x_t|x_{<t}, \alpha) \propto P_{LM}(x_t|x_{<t}) [P_{FEM}(\alpha|x_{<t}, x_t)]^\gamma$$
onde $\alpha$ representa as restrições de formato e $\gamma$ é um hiperparâmetro de força de direcionamento (steering strength).

Inovações Técnicas Principais

Para tornar esta abordagem prática e eficiente, os autores introduzem três inovações específicas:

1. Destilação Consciente de Instrução:
   Métodos de geração controlável anteriores (ex: GeLaTo, Ctrl-G) destilam Modelos Ocultos de Markov (HMMs) a partir de amostragem aleatória incondicional. Isso falha em capturar o comportamento condicional à instrução de LLMs ajustados (fine-tuned). O DECO-G aborda isso destilando o HMM exclusivamente em pares de instrução-resposta do conjunto de dados Natural-Instructions-v2. Isso garante que o FEM modele com precisão o comportamento do LLM ao seguir instruções de tarefas específicas.

2. Construção de Trie Flexível:
   As restrições de formato do mundo real frequentemente envolvem templates complexos com texto fixo (Pivôs) e campos de comprimento variável (Curingas/Wildcards). A construção padrão de Autômatos de Estados Finitos Determinísticos (DFA) leva à explosão do espaço de estados ($O(K^N)$) ao lidar com segmentos encadeados de comprimento variável. O DECO-G introduz um algoritmo de trie flexível que impõe a Convergência de Estado. Esta estratégia funde todos os caminhos válidos de um segmento de curinga de volta a um único estado de entrada canônico para o próximo segmento, reduzindo a complexidade para crescimento linear ($O(N \times K)$).

3. Poda de Estado de HMM:
   O lookahead probabilístico no FEM envolve calcular probabilidades de emissão sobre todo o vocabulário, o que é computacionalmente caro ($O(h|V|)$). Os autores observam que a distribuição de estados ocultos é altamente esparsa. Ao podar o HMM para considerar apenas os top-$k$ estados mais prováveis (ex: top 5%), eles reduzem a complexidade para $O(k|V| + h \log h$). Resultados empíricos mostram que manter apenas 5% dos estados retém mais de 98% do desempenho do modelo, reduzindo os FLOPs em aproximadamente 13$\times$.

Resultados Experimentais

Os autores avaliaram o DECO-G em três tarefas distintas: Raciocínio Matemático (GSM8k), Extração de Argumentos de Evento (ACE05) e LLM-como-Juiz (SummEval), utilizando modelos como Llama-3.1-8B, Qwen2.5-7B e Qwen3-8B.

• Raciocínio Matemático (GSM8k): O DECO-G superou consistentemente os baselines. Enquanto o prompting padrão (Prompt-Only) alcançou alta precisão, mas baixa conformidade de formato, e a geração estruturada (Outlines) garantiu conformidade, mas degradou a precisão, o DECO-G alcançou 100% de conformidade de formato mantendo ou melhorando a precisão do raciocínio. Por exemplo, no Llama-3.1-8B, o DECO-G alcançou 85,2% de precisão comparado a 81,3% do Outlines e 82,3% do Prompt-Only (NL).
• Extração de Argumentos de Evento (ACE05): O DECO-G melhorou a qualidade geral da extração, particularmente na identificação de IDs de Argumento (AI) e IDs anexados a Argumentos (AI+), sugerindo uma melhor integração de papéis e argumentos extraídos.
• LLM-como-Juiz (SummEval): O DECO-G demonstrou a correlação média mais forte com anotadores humanos em métricas de coerência, consistência, fluência e relevância. A análise qualitativa revelou que o DECO-G permite uma integração mais natural de frases de pontuação em posições arbitrárias, enquanto os baselines frequentemente forçavam a anexação rígida de classificações.

Significância e Alegações

O artigo afirma que o DECO-G representa um novo paradigma na geração de texto controlável ao alcançar uma "separação de responsabilidade" entre raciocínio e formatação.

• Preservação do Raciocínio: Ao remover o fardo cognitivo da formatação do processo de geração imediata do LLM, o framework desbloqueia o pleno potencial de raciocínio do modelo.
• Conformidade Garantida: Diferente do prompting sem restrições, o DECO-G fornece uma garantia matemática de adesão ao formato através do mecanismo de reponderação do FEM.
• Eficiência Prática: Através da destilação consciente de instrução, construção de trie flexível e poda de estado, os autores demonstram que o overhead computacional é negligenciável (constituindo cerca de 0,53% da passagem direta principal do LLM), tornando o framework viável para implantação no mundo real.

Os autores concluem que esta abordagem de desacoplamento leva a ganhos de desempenho geral, impulsionados pela capacidade de impor restrições estritas sem a degradação do raciocínio tipicamente associada a frameworks de decodificação rígidos. Eles reconhecem limitações, como a necessidade de destilar um novo HMM para diferentes famílias de LLM e a sensibilidade do hiperparâmetro de direcionamento $\gamma$ em relação à assimetria da distribuição de tokens do modelo.