Knowledge-Graph-Gated Defactualization for Style-Controllable and Fact-Preserving Generation in Agentic Conversational AI

Problema

Modelos de Linguagem de Agente (LLMs) implantados em domínios sensíveis a fatos, como suporte ao cliente, enfrentam uma dupla restrição: eles devem gerar respostas em um registro estilístico específico (ex: empático ou formal) enquanto preservam estritamente a correção factual em relação a entidades específicas (ex: IDs de pedido, nomes de produtos, nomes de clientes).

As abordagens existentes falham em abordar ambas as restrições simultaneamente sem compromissos:

• Fine-tuning (Ajuste Fino) incorpora o estilo nos pesos, mas exige retreinamento para cada estilo e modelo.
• Retrieval-Augmented Generation (RAG - Geração Aumentada por Recuperação) fornece contexto, mas deixa o modelo livre para parafrasear ou omitir entidades críticas.
• Activation Steering (Direcionamento por Ativação) permite o controle de estilo sem necessidade de fine-tuning através da perturbação dos estados ocultos, mas carece de um mecanismo para distinguir tokens fatuais de tokens estilísticos. Isso leva ao vazamento semântico (semantic leakage), onde vetores de direcionamento alteram ou substituem inadvertidamente entidades fatuais, ou onde marcadores estilísticos são transferidos inapropriadamente para os intervalos das entidades.

O desafio central é desacoplar o controle estilístico do embasamento factual sem modificar os pesos do modelo ou exigir que o vetor de direcionamento seja específico para a mensagem.

Metodologia: Defactualize-Steer-Rehydrate (DSR)

Os autores propõem o DSR, um framework neuro-simbólico de sete estágios, livre de treinamento, que integra um Grafo de Conhecimento (KG) tipado e com peso de saliência com o direcionamento de ativação. O pipeline opera da seguinte forma:

1. Extração de Conhecimento e Construção do KG:

   • As mensagens de entrada são processadas através de um pipeline em camadas (regex, NER e classificadores lexicais) para extrair entidades e atributos (Nome do Cliente, ID do Pedido, Produto, Problema, Urgência, Sentimento).
   • Um Grafo de Conhecimento direcionado e tipado $G=(V, E)$ é construído. Os nós recebem um escore de saliência ($sal \in [0, 1]$) baseado na confiança da extração e corroboração (ex: correspondência com metadados aumenta a saliência).
   • Os pesos das arestas são definidos multiplicativamente ($w(u,v) = sal(u) \cdot sal(v)$), garantindo que endpoints de baixa confiança suprimam a confiabilidade da aresta.

2. Desfactualização (Pré-Direcionamento):

   • Antes de qualquer direcionamento de ativação, o texto de entrada é reescrito substituindo todos os valores de entidade extraídos por placeholders tipados (ex: <ID_DO_PEDIDO>, <PRODUTO>).
   • Isso cria um prompt "desfactualizado" onde o esquema factual é mascarado, garantindo que os pares contrastivos usados para estimar os vetores de direcionamento não contenam ruído de entidades específicas.

3. Construção do Vetor de Direcionamento Contrastivo:

   • Vetores de direcionamento ($v_s$) para estilos específicos (ex: empático vs. formal) são estimados usando Análise de Componentes Principais (PCA) sobre a diferença das ativações agrupadas de pares de prompts contrastivos.
   • Crucialmente, esses vetores são estimados apenas no vocabulário de placeholders, garantindo que a direção represente o estilo puro, e não o conteúdo específico.

4. Geração Direcionada:

   • O prompt desfactualizado é alimentado no LLM congelado.
   • Em uma camada transformer selecionada $L$, o estado oculto é perturbado aditivamente: $h'_L(t) = h_L(t) + \alpha v_s$.
   • O modelo gera uma resposta no estilo alvo, mas a saída contém placeholders em vez de fatos reais.

5. Reidratação e Verificação (Pós-Geração):

   • A saída gerada é deterministicamente "reidratada" substituindo os placeholders pelos valores verificados de maior saliência do KG original.
   • Este passo é uma busca simbólica, não um processo generativo, garantindo que nenhum novo erro de fato (alucinação) seja introduzido durante a restauração.
   • Um mecanismo de fallback existe para saídas malformadas (ex: placeholders truncados), embora nenhum tenha sido observado na avaliação.

Principais Contribuições

1. Pipeline de Engenharia de Dados: Um framework de extração em camadas, livre de treinamento, que constrói um KG tipado e com saliência pontuada a partir de mensagens de suporte não estruturadas usando regex, NER e classificadores.
2. Arquitetura DSR: Uma separação estrutural do controle factual (via máscara/reidratação de KG) e do controle estilístico (via direcionamento de ativação). O KG atua como um portão, garantindo que o operador de direcionamento nunca seja exposto a valores de entidade não mascarados.
3. Suíte de Diagnóstico: Introdução de três métricas para avaliar a interação entre estilo e fatos:
   • Fidelidade de Ativação de Direcionamento (SAF): Mede o quão bem o estado oculto se alinha com a direção do estilo pretendido.
   • Índice de Severidade de Alucinação (HSI): Mede o vazamento de entidades (entidades na saída que não estavam presentes na entrada).
   • Índice de Consistência de Tom (TCI): Mede o alinhamento com o estilo solicitado em relação ao seu oposto.
4. Avaliação Abrangente: Um estudo extensivo através de seis modelos da família LLaMA (1B–13B parâmetros) e 1.200 gerações, incluindo um estudo de ablação dedicado ao KG.

Resultados Experimentais

• Recuperação de Entidade: O pipeline DSR com portão de KG melhorou significativamente a recuperação de entidades verificadas em comparação com o baseline de apenas direcionamento (Cohen's $d = 0,225$, $p_{Bonf} = 1,0 \times 10^{-4}$). No entanto, os autores observam que a taxa de recuperação absoluta permanece modesta (um dígito baixo a dezenas de porcentagem), indicando que o método melhora, mas não garante o embasamento factual completo.
• Preservação de Estilo: Todas as métricas de fidelidade estilística (empatia, formalidade, legibilidade, diversidade lexical) permaneceram estatisticamente inalteradas entre o DSR e os baselines de apenas direcionamento. Isso confirma que a camada de KG não degrada o controle de estilo.
• Integridade do Placeholder: Em 1.200 gerações e seis modelos, o vazamento de placeholder foi exatamente zero. O operador de reidratação restaurou com sucesso os valores verificados ou removeu os placeholders sem deixar tokens pendentes.
• Independência do Modelo: As estatísticas estruturais do KG (contagem de nós, densidade, saliência média) foram quase invariantes entre todos os seis modelos hospedeiros, confirmando que a camada de conhecimento é uma propriedade do pipeline de extração, não do modelo.
• Efeitos de Escala: Nenhuma escalabilidade monotônica de fidelidade de estilo ou embasamento factual foi observada com a contagem de parâmetros (1B–13B). As condições de entrada (tipo de cenário) explicaram mais variância no embasamento factual do que a identidade do modelo.
• Sensibilidade de Camada: Diagnósticos revelaram uma relação não monotônica entre a força de direcionamento ($\alpha$) e a consistência de tom em alguns modelos, enquanto a severidade de alucinação saturou rapidamente. Isso sugere uma região operacional onde os diagnósticos de alucinação tornam-se insensíveis à força de direcionamento.

Significância e Alegações

O artigo afirma que a engenharia explícita de conhecimento pode aumentar sistematicamente a confiabilidade, o controle e a reprodutibilidade da IA generativa sem exigir fine-tuning do modelo.

• Melhoria Sistemática: Ao tratar o embasamento factual como uma restrição estrutural (máscara e reidratação) em vez de um problema de aprendizado estatístico, o DSR mitiga o vazamento semântico.
• Complementaridade: O framework foi projetado para ser complementar aos métodos de aumento por recuperação; ele preserva fatos já presentes na entrada, mas não introduz conhecimento externo.
• Transparência: O uso de um KG tipado e reidratação determinística fornece um caminho de decisão auditável, alinhando-se aos paradigmas de integração neuro-simbólica.

Os autores mantêm a modéstia em suas alegações, reconhecendo que, embora o DSR melhore significamente a preservação de entidades em relação aos baselines, ele não resolve totalmente o problema do embasamento de entidades, e o efeito é limitado. O trabalho estabelece uma prova de conceito de que separar restrições fáticas e estilísticas no nível da representação é um caminho viável para uma IA de agentes mais confiável.