Resumo Técnico: LatentGuard

Declaração do Problema

As salvaguardas de segurança para Grandes Modelos de Linguagem (LLMs) são críticas para sistemas implantados, mas enfrentam um compromisso fundamental entre eficiência, qualidade de moderação e inspecionabilidade.

• Guarda baseada em classificação é eficiente, mas frequentemente fornece sinais limitados para inspecionar decisões individuais e pode carecer da nuance de abordagens baseadas em raciocínio.
• Guarda baseada em raciocínio (ex: GuardReasoner) melhora a qualidade da moderação e a explicabilidade ao gerar racionalizações explícitas de Cadeia de Pensamento (CoT - Chain-of-Thought) antes de emitir um veredito. No entanto, esse design força cada chamada de moderação a gerar centenas de tokens, introduzindo latência significativa e sobrecarga computacional, o que é proibitivo para implantações de alto rendimento em tempo real.

Métodos existentes de raciocínio latente, que comprimem o raciocínio em estados ocultos contínuos, concentraram-se primariamente em tarefas matemáticas ou lógicas onde a correção da resposta é o objetivo. Eles permanecem subexplorados para moderação de segurança, onde as decisões dependem de políticas, são frequentemente ambíguas e requerem uma interface para inspeção post-hoc.

Metodologia

O artigo propõe o LatentGuard, um framework que desacopla a predição de segurança rotineira da geração de racionalização ao introduzir o raciocínio latente contínuo nos modelos de guarda. A arquitetura consiste em três componentes principais: um modelo de guarda ($G_\theta$), um projetor latente ($P_\phi$) e um decodificador de auditoria auxiliar isolado ($D_\psi$).

1. Currículo de Raciocínio Latente em Estágios

Para transitar do raciocínio textual explícito para estados latentes contínuos, o LatentGuard emprega um currículo em estágios inspirado no COCONUT. O processo de treinamento comprime progressivamente racionalizações textuais alinhadas à tarefa em tokens latentes:

• Decomposição de Tarefa: A tarefa de segurança é decomposta em três subtarefas acopladas: solicitação de nocividade ($c_1$), detecção de recusa ($c_2$) e nocividade da resposta ($c_3$).
• Compressão Progressiva: No Estágio $s$ (onde $s \in \{1, 2, 3\}$), os primeiros $s$ componentes de raciocínio são substituídos por sequências de tokens latentes ($H_t$), enquanto os componentes restantes permanecem como texto explícito.
• Objetivo de Treinamento: O modelo de guarda é treado para prever o veredito de segurança estruturado ($v$) com base na entrada mista de estados latentes e tokens de texto restantes. A perda (loss) é computada apenas sobre os tokens de supervisão discretos (texto restante, token de fim de raciocínio e veredito), excluindo as posições latentes.

2. Inferência Latente Adaptativa

Durante a inferência padrão, o modelo de guarda não gera racionalizações explícitas. Em vez disso, ele realiza o raciocínio latente adaptativo:

• O modelo gera uma sequência de estados latentes $(g_1, \dots, g_k)$ usando um mecanismo de feedback onde o estado oculto anterior informa o próximo.
• O processo para adaptativamente quando a probabilidade de um token de fim de raciocínio excede um limiar ($\tau$) ou quando um orçamento máximo ($K_{max}$) é atingido.
• O modelo então emite diretamente o veredito de segurança estruturado. Isso reduz o custo de raciocínio do caminho crítico de centenas de tokens para alguns passos latentes.

3. Decodificador de Auditoria Isolado Sob Demanda

Para preservar a inspecionabilidade sem comprometer a eficiência da inferência, o LatentGuard introduz um decodificador auxiliar isolado que não faz parte do caminho de inferência padrão.

• Ativação Sob Demanda: O decodificador é invocado apenas quando uma auditoria é explicitamente solicitada.
• Condicionamento de Entrada: Ele recebe os estados latentes projetados do guarda (via um projetor de gradiente interrompido/stop-gradient) e o texto da interação de origem (específico da tarefa) como entrada.
• Saída: Ele gera artefatos de auditoria compactos e legíveis por humanos (racionalizações) sob demanda.
• Desacoplamento: Como o decodificador é treinado com uma operação de gradiente interrompido no latente do guarda, ele não altera a dinâmica interna de raciocínio do guarda, garantindo que os benefícios de eficiência do raciocínio latente sejam preservados.

Principais Contribuições

1. Formulação de Compressão de Racionalização Latente: O artigo formula a moderação de segurança baseada em raciocínio como uma compressão de racionalização latente alinhada à tarefa, introduzindo um currículo em estágios para treinar modelos de guarda para internalizar o raciocínio em estados contínuos.
2. Framework Desacoplado: Propõe um framework de salvaguarda que separa a predição de segurança rotineira da geração de racionalização. A inferência rotineira utiliza raciocínio latente eficiente, enquanto um decodificador isolado fornece inspecionabilidade apenas quando necessário.
3. Avaliação Abrangente: Os autores avaliam o framework através de precisão de moderação, custo de raciocínio, latência e utilidade de auditoria, demonstrando um compromisso favorável entre eficiência e eficácia.

Resultados Experimentais

A avaliação foi conduzida no conjunto de benchmarks GuardReasoner (incluindo ToxicChat, HarmBench, OpenAI Moderation, etc.) utilizando modelos variando de 1B a 8B parâmetros.

• Eficácia de Moderação: O LatentGuard-8B melhorou o F1 médio ponderado de 83,95 (GuardReasoner-8B) para 84,91, demonstrando que a substituição de racionalizações explícitas por raciocínio latente não sacrifica o desempenho.
• Eficiência: O LatentGuard reduziu drasticamente os custos do caminho crítico. Para o modelo de 8B, o orçamento médio de raciocínio caiu de 268,56 tokens de CoT explícitos para 1,60 tokens de raciocínio latente. A latência de inferência diminuiu de 0,792s para 0,089s (uma redução de 8,9×).
• Utilidade de Auditoria: O decodificador de auditoria opcional alcançou uma Pontuação de Utilidade de Auditoria (AUS) de 85,75 para o modelo de 8B. Estudos de ablação mostraram que tanto o condicionamento do texto de origem quanto os estados latentes projetados são essenciais para gerar artefatos de auditoria úteis.
• Parada Adaptativa: Experimentos confirmaram que a parada latente adaptativa permite que o modelo utilize menos passos para exemplos fáceis e mais para os difíceis, evitando a necessidade de um orçamento fixo e potencialmente dispendioso.

Significância e Alegações

O artigo afirma que o LatentGuard fornece um caminho prático para salvaguardas de LLM eficientes e inspecionáveis. Ao mover o raciocínio para estados latentes contínuos, ele resolve o gargalo de latência associado à geração de CoT explícita na moderação de segurança. Simultaneamente, ao manter um decodificador de auditoria isolado, garante que o sistema permaneça inspecionável para logs, revisão e auditoria sem forçar a geração de racionalização em cada interação.

Os autores posicionam este trabalho como um passo em direção a sistemas de segurança escaláveis onde as decisões de moderação de alta frequência são rápidas e leves, enquanto a capacidade de inspeção profunda e legível por humanos permanece disponível para revisões amostrais ou casos de alta prioridade. O artigo reconhece limitações, observando que a decodificação de auditoria ainda incorre em computação quando solicitada e que as avaliações atuais são apenas de texto, deixando extensões multimodais para trabalhos futuros.