Resumo Técnico: Contratos de Kernel de Treinamento-Inferência

Declaração do Problema

Os modernos pipelines de pós-treinamento para Large Language Models (LLMs) tratam a política $\pi_\theta$ como um único objeto matemático. No entanto, em precisão finita, $\pi_\theta$ é avaliada por dois programas distintos: um kernel de treinamento ($K_{train}$) otimizado para diferenciabilidade (usando acumuladores de alta precisão, formas fixas e atenção de referência) e um kernel de inferência ($K_{inf}$) otimizado para throughput (usando operadores de baixa precisão, caches de key-value paginados e tiles de atenção dinâmica).

O artigo identifica uma "lacuna de especificação" crítica: esses dois kernels computam funções mensuravelmente diferentes da mesma pesos $\theta$. Essa divergência não é uniforme; ela se concentra em fatias específicas (ex: entradas de contexto longo, prompts de segurança crítica) que benchmarks agregados tendem a sub-representar. A confluência de $K_{train}$ e $K_{inf}$ leva a diversas falhas de modo:

1. Viés off-policy em RL: Pipelines de aprendizado por reforço (ex: PPO, GRPO) amostram rollouts a partir de $K_{inf}$, mas computam gradientes usando $K_{train}$. O estimador padrão assume que a razão de importância $w = \pi^{K_{train}}_\theta / \pi^{K_{inf}}_\theta$ é 1, introduzindo um viés que se manifesta como colapso de KL, reward hacking ou degradação súbita de desempenho.
2. Deriva de Implantação (Deployment Drift): Modelos ajustados em BF16 podem derivar significativamente quando convertidos para FP8 ou INT4 na inferência, particularmente em prompts de segurança raros ou saídas estruturadas.
3. Não-reprodutibilidade: Frotas de serviço heterogêneas (diferentes builds de hardware/kernel) produzem saídas divergentes para a mesma requisição, tornando testes A/B e auditorias de segurança não reprodutíveis.

Atualmente, não existe uma especificação legível por máquina para definir qual nível de divergência entre $K_{train}$ e $K_{inf}$ é tolerável, em quais fatias de dados, e quais ações devem ser tomadas quando os limites são excedidos.

Metodologia: O Contrato de Kernel

Os autores propõem um objeto de especificação formal chamado Contrato de Kernel, denotado como $C = (N, S, R, \Pi)$. Este contrato viaja com o checkpoint do modelo e o build do kernel através do pipeline de CI/CD.

1. A Estrutura do Contrato

O contrato consiste em quatro famílias de cláusulas e uma política de escalonamento:

• Numérica ($N$): Restrições sobre desentendimentos numéricos brutos, tais como deriva de logits ($\Delta_{logit}$), divergência KL, distância de Variação Total (TV) e a razão de importância $w$ para RL.
• Estatística ($S$): Restrições sobre resultados comportamentais, incluindo concordância de top-$k$ tokens, deriva de calibração ($\Delta_{ECE}$), deltas de recompensa e parseabilidade de saída estruturada.
• Tempo de Execução ($R$): Restrições operacionais de latência, throughput, uso de memória (incluindo cache KV) e taxas de falha.
• Observabilidade ($O$): Requisitos para campos de trace, fingerprints de kernel e assinaturas de replay para garantir que violações sejam atribuíveis.
• Política de Escalonamento ($\Pi$): Um mapeamento de níveis de severidade de violação ($L1$: informativo, $L2$: impactante na qualidade, $L3$: crítico para segurança) para ações de roteamento (log, guarda, fallback/rollback).

As cláusulas são definidas com limiares ($\tau$), taxas de excesso permitidas ($\rho$) e fatias de dados específicas ($\Sigma$) às quais se aplicam.

2. Limites Teóricos (A Cadeia)

O artigo deriva uma cadeia de limites do tipo Lipschitz que conecta erros numéricos de baixo nível a erros de recompensa de alto nível:

1. Logit para Distribuição: Um limite na deriva de logit ($\|\varepsilon\|_\infty$) propaga-se para um limite na distância de Variação Total ($\Delta_{TV}$) e divergência KL, escalonado pela temperatura $T$.
2. Distribuição para Recompensa: Para uma função de recompensa limitada $r$, a diferença de recompensa esperada é limitada por $2R \cdot \Delta_{TV}$.
3. Aplicação em RL: Sob suposições de sobreposição de suporte e vantagem limitada, o artigo prova que um limite por token na razão de importância $w$ (ou equivalentemente, a distância TV entre as políticas $K_{train}$ e $K_{inf}$) limita o viés do estimador padrão de gradiente de política. Isso reinterpreta o parâmetro de clipping $\epsilon$ do PPO não apenas como uma região de confiança para atualizações de política, mas como um orçamento para o par de kernel de treino-inferência.

3. Pipeline de Aplicação (Enforcement)

O framework propõe um pipeline de promoção de quatro estágios para aplicar o contrato:

1. CI Offline: Avalia cláusulas numéricas rígidas contra datasets fixos.
2. Shadow: Espelha o tráfego ao vivo para o candidato a kernel para detectar regressões dependentes da carga de trabalho.
3. Canary: Roteia uma pequena fração do tráfego ao vivo para o candidato com a política de escalonamento ativa.
4. Promoção Total: Ocorre apenas após conformidade sustentada sobre uma janela de estabilidade.
   Um loop de roteamento online monitora continuamente a saúde do contrato ($h_t$) e alterna o tráfego para kernels guardados ou seguros com base nos níveis de violação em tempo real.

Principais Contribuições

O artigo apresenta três contribuições primárias:

1. Conceitual: Identifica a unidade correta de especificação em modernos pipelines de LLM não como o checkpoint ou o motor isoladamente, mas como o par $(K_{train}, K_{inf})$ junto com as fatias de dados específicas onde eles devem concordar.
2. Técnica: Fornece uma cadeia de limites permitindo que engenheiros especifiquem restrições no nível numérico mensurável (logits) e herdem garantias no nível comportamental (recompensas).
3. Aplicada: Demonstra que heurísticas padrão de estabilidade de RL (como o clipping do PPO) podem ser formalmente interpretadas como cláusulas de contrato que limitam a divergência de kernel, e delineia um DSL YAML minimalista para implementar esses artefatos.

Resultados e Validação

O artigo declara explicitamente que não reporta validação empírica em escala de produção e não afirma que a divergência de kernel é a única causa dos modos de falha discutidos. Em vez disso, apresenta um framework e vocabulário.

Os "resultados" são derivações teóricas e um protocolo experimental proposto (Seção 8) para validação futura:

• Teórico: Provas mostrando que deriva de logits implica limites de deriva de recompensa e que o mismatch de kernel introduz um viés calculável em gradientes de política.
• Experimentos Propostos: Os autores delineiam cinco experimentos falsificáveis (E1–E5) para testar o framework, incluindo mapeamento de baselines de deriva numérica, teste de sensibilidade de hardware, validação do limite de viés de RL, exploração de destilação consciente de contrato e simulação de roteamento de autocura sob injeção de falhas.

Significância e Escopo

O artigo posiciona-se como uma camada de especificação fundamental que faz a ponte entre várias literaturas paralelas: pós-treinamento de RL, serving de alto throughput, verificação formal e contratos de software.

• Modéstia: Os autores são explícitos ao afirmar que este é um "paper de framework e vocabulário". Eles não afirmam ter resolvido o problema da divergência de kernel empiricamente, mas sim fornecido o "índice perdido" sobre $\pi_\theta$ e o vocabulário para discutir o tema.
• Direções Futuras: O artigo delineia quatro direções de pesquisa: contratos dinâmicos (limites dependentes de contexto), destilação consciente de contrato (treinar modelos para satisfazer contratos), verificação formal de subconjuntos de cláusulas e roteamento de autocura.
• Limitações: O framework adiciona overhead de engenharia (computação, armazenamento, observabilidade) e carrega riscos da Lei de Goodhart (otimizar cláusulas de proxy). Reconhece que as ferramentas atuais de verificação formal ainda não conseguem escalar para transformers de produção total, dependendo em vez disso de limites amplos e testes empíricos.

Em resumo, o artigo argumenta que tratar os kernels de treinamento e inferência como entidades distintas e vinculadas por contrato é necessário para mover o campo do "conhecimento popular" sobre fragilidade de implementação para práticas de engenharia auditáveis e reprodutíveis no deployment de LLMs.