Answer Engineering: Local Trajectory Editing for Protocol-Constrained Decision Making in Large Language Models

Resumo Técnico: Engenharia de Resposta

Definição do Problema
Modelos de Linguagem de Grande Escala (LLMs) frequentemente geram respostas confiantes, porém incorretas, em domínios que exigem adesão estrita a protocolos procedimentais, como a medicina clínica. Embora técnicas de raciocínio passo a passo (ex: Cadeia de Pensamento/Chain-of-Thought) melhorem a estrutura e a transparência, elas frequentemente falham em prevenir erros em cenários restritos por protocolos. Em vez de eliminar falhas, o raciocínio muitas vezes desloca a distribuição dos erros. Estudos empíricos indicam que os modelos podem gerar explicações que funcionam como racionalizações post-hoc, em vez de derivações fiéis da resposta final. Consequentemente, os modelos podem se comprometer com uma decisão precocemente e racionalizá-la, ou gerar etapas intermediárias que são inconsistentes com as regras do domínio. Em ambientes regulados, uma resposta pode parecer plausível, mas ser operacionalmente inválida se omitir verificações procedimentais ou distinções obrigatórias. Abordagens existentes, incluindo prompting, decodificação restrita e validação post-hoc, frequentemente abordam esses problemas de forma indireta, global ou apenas após a conclusão da geração, falhando em intervir dentro da própria trajetória de raciocínio em evolução.

Metodologia: Engenharia de Resposta
Este artigo propõe a Engenharia de Resposta, uma camada de autoria e tempo de execução (runtime) determinística que realiza a intervenção de trajetória localizada durante a geração autorregressiva. Diferente de métodos que exigem o retreinamento do modelo ou busca global, a Engenharia de Resposta opera como uma superfície de controle sobre a decodificação padrão, impondo a conformidade ao protocolo através de edições baseadas em regras no rastro de raciocínio gerado.

O mecanismo central baseia-se na propriedade de decodificação condicionada ao prefixo: em um transformador autorregressivo, a distribuição de tokens futuros depende exclusivamente do prefixo visível. Portanto, edições locais na trajetória de raciocínio redefinem o contexto para a geração subsequente sem alterar os parâmetros do modelo.

O framework implementa três classes de intervenção, acionadas por regras declarativas elaboradas por especialistas do domínio:

1. Editar o Passado (Substituição de Intervalo Retroativa): Quando um gatilho indica uma violação (ex: uma inferência incorreta), o sistema substitui o intervalo ofensivo por um candidato válido selecionado com base na verossimilhança do modelo.
2. Selecionar Entre Continuações Recentes (Rollback Local): Ao detectar um gatilho, o sistema realiza um rollback para o início do escopo da edição, gera múltiplas continuações candidatas e seleciona a mais bem pontuada de acordo com as regras do protocolo.
3. Forçar o Futuro (Inserção): Se um protocolo exige uma afirmação específica (ex: um aviso de urgência), o sistema anexa um candidato válido predefinido ao prefixo atual e avança a geração através desses tokens forçados.

O tempo de execução opera como um ciclo de controle: monitora a trajetória em busca de gatilhos de regras, propõe edições candidatas, pontua-as usando a própria função de verossimilhança do modelo e aplica a intervenção selecionada antes de retomar a decodificação. Este processo envolve a reconstrução do cache KV desde o primeiro token modificado para garantir que a geração continue a partir do estado corrigido.

Principais Contribuições
O artigo apresenta três contribuições primárias:

1. Um Mecanismo de Tempo de Execução de Decodificação: Um framework para impor a conformidade ao protocolo através de intervenção de trajetória localizada durante a geração, eliminando a necessidade de retreinamento de modelo ou busca global.
2. Uma Abstração de Controle Baseada em Regras: Um método para especificar restrições procedimentais de domínio como operações interpretáveis de edição de trajetória, permitindo que especialistas do domínio definam edições permissíveis sem modificar o código do modelo.
3. Avaliação Empírica: Uma demonstração de que o raciocínio passo a passo isoladamente pode reduzir a conformidade ao protocolo em tarefas de decisão estruturadas, e que a intervenção de trajetória localizada pode aumentar substancialmente os resultados conformes.

Resultados Experimentais
A abordagem foi avaliada em um benchmark clínico envolvendo Perda Auditiva Neurossensorial Súbita (SSNHL), que exige o diagnóstico diferencial entre SSNHL e perda auditiva condutiva com base nos achados de Weber e Rinne com diapasão. A avaliação utilizou um conjunto de dados determinístico de 2.000 casos sintéticos (1.000 SSNHL, 1.000 condutiva) e o modelo OpenMeditron/Meditron3-8B.

Os principais achados incluem:

• Falha da Linha de Base de Raciocínio: Sob uma linha de base de raciocínio passo a passo, os resultados conformes para a condição alvo de SSNHL caíram de 54,5% (não guiado) para 25,1%, enquanto o desempenho na condição contrastiva condutiva aumentou de 1,6% para 58,9%. Isso indica que o raciocínio sozinho deslocou os erros em vez de preveni-los.
• Sucesso da Edição de Trajetória: A aplicação da pilha completa de edição de trajetória (combinando validação local, substituição e inserção forçada) aumentou os resultados conformes para a condição alvo de SSNHL para 83,5% e a adesão ao protocolo para a condição condutiva contrastiva para 77,9%.
• Acurácia Balanceada: A acurácia balanceada entre ambas as condições melhorou de 42,0% (linha de base de raciocínio) para 80,7% com a edição de trajetória.
• Sobrecarga de Tempo de Execução (Runtime Overhead): A intervenção acarretou uma lentidão de 2,78× para casos de SSNHL e 1,33× para casos condutivos em relação à linha de base de raciocínio.
• Análise de Falhas: Os autores observam que, embora o método melhore significamente os resultados, ele não garante estabilidade de raciocínio uniforme. Em alguns casos, o modelo exibe "persistência de comprometimento", tentando repetidamente o fechamento diagnóstico prematuro apesar das repetidas reparações locais.

Significância e Alegações
O artigo afirma que a Engenharia de Resposta demonstra que a confiabilidade no raciocínio governado por protocolos não é apenas uma propriedade do treinamento do modelo, mas pode ser tratada como uma propriedade operacional moldada pelo controle em tempo de execução. Os resultados sugerem que muitas falhas na geração restrita por protocolos são violações estruturais (ex: etapas omitidas, inconsistências locais) que podem ser corrigidas através de protocolos específicos de domínio sem retreinamento.

Os autores posicionam este trabalho como um estudo de viabilidade sob condições estruturadas. Eles declaram explicitamente que a avaliação isola uma fronteira diagnóstica bem definida para tornar as falhas de raciocínio observáveis e corrigíveis. Eles não alegam que esta seja uma solução geral para todos os problemas de confiabilidade de raciocínio, reconhecendo que fluxos de trabalho do mundo real envolvem protocolos interativos, observabilidade parcial e diretrizes em evolução. A significância reside em fornecer uma perspectiva de nível de sistema onde a conformidade ao protocolo é projetada através do controle explícito do comportamento de geração, oferecendo um caminho para melhorar a conformidade em domínios regulados onde as técnicas de raciocínio padrão provaram-se insuficientes.