Resumo Técnico: PRISM – Recuperação de Conjuntos de Instruções a partir de Ativações de Modelos de Linguagem

1. Declaração do Problema: Recuperação de Conjunto de Instruções (ISR)

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados como agentes autônomos, o monitoramento confiável exige mais do que observar tokens de saída; é necessário compreender os objetivos internos que direcionam o comportamento. O monitoramento atual enfrenta desafios quando os modelos inferem subobjetivos não pretendidos, seguem pistas contextuais ou são influenciados por injeções de prompt e objetivos ocultos.

Embora métodos recentes de "ativação-para-linguagem" (ex: Patchscopes, LatentQA, Oráculos de Ativação) demonstrem que os estados ocultos podem revelar informações em linguagem natural, eles são inadequados para a Recuperação de Conjunto de Instruções (ISR). As abordagens existentes tipicamente respondem a perguntas arbitrárias ou produzem resumos de alto nível únicos. Elas falham em recuperar o conjunto completo de instruções, restrições, proibições e subobjetivos simultâneos ativos em configurações agênticas. Consequentemente, elas frequentemente recuperam apenas uma fração das instruções ativas, confundem restrições distintas ou alucinam objetivos que não estão presentes no contexto.

O artigo formaliza a ISR como o problema de aprender um intérprete $\phi$ que, dado um snapshot de ativação $H_\ell$ de um modelo alvo congelado $M$, produz uma lista prevista $\hat{I}$ que maximiza a cobertura (recuperação de instruções da verdade fundamental) enquanto minimiza a alucinação (predição de instruções não suportadas).

2. Metodologia: PRISM

Os autores introduzem o PRISM, um intérprete condicionado por ativação projetado especificamente para a recuperação fiel de conjuntos de instruções.

Arquitetura

O PRISM é projetado para implantação leve. Em vez de carregar um LLM intérprete separado, ele reutiliza os pesos base congelados do modelo alvo $M$ (especificamente o Qwen3.5-9B nos experimentos).

• Entrada: Um snapshot das ativações do fluxo residual $H_\ell$ de uma camada específica $\ell$ (ex: camada 16) sobre uma janela fixa de tokens gerados (ex: os últimos 128 tokens).
• Projeção: Uma projeção linear aprendida mapeia esses vetores de ativação para o espaço de embedding de entrada do modelo.
• Decodificação: As ativações projetadas servem como um "prefixo suave" (soft prefix) alimentado no modelo alvo. O modelo então decodifica de forma autorregressiva uma lista de tópicos em linguagem natural das instruções ativas.
• Parâmetros: Apenas a camada de projeção e os adaptadores LoRA são treinados; os pesos base do modelo permanecem congelados.

Estratégia de Treinamento

O PRISM é treinado em duas etapas para abordar as limitações da perda de entropia cruzada padrão, que penaliza discrepâncias de forma superficial e falha em distinguir entre instruções perdidas e alucinações.

1. Pré-treinamento Supervisionado (SFT): O modelo é treinado para mapear snapshots de ativação para listas de instruções da verdade fundamental usando entropia cruzada de próximo token. Isso estabelece um mapeamento base de ativação-para-lista.
2. Aprendizado por Reforço Guiado por Juiz (GRPO): Para otimizar a fidelidade do nível de conjunto, os autores empregam a Otimização de Política Relativa de Grupo (GRPO).
   • Mecanismo de Juiz: Um LLM juiz separado avalia as listas de instruções candidatas contra a lista da verdade fundamental. Ele determina quais instruções de referência foram cobertas e quais tópicos preditos não são suportados (alucinados). O prompt de sistema do juiz é calibrado contra anotações humanas usando o $\kappa$ de Cohen.
   • Função de Recompensa: A recompensa $r$ é um escalar derivado das métricas de cobertura ($Cvg$) e alucinação ($Hall$):
     $$r = w_{inst} \cdot Cvg(\hat{I}, I) - w_{halluc} \cdot Hall(\hat{I}, I) - P_{len}$$
     Onde $P_{len}$ é uma penalidade de comprimento bilateral para evitar o "reward hacking" através de relatórios excessivamente longos ou colapsados.
   • Otimização: A política é atualizada para maximizar a vantagem relativa do grupo, otimizando diretamente para alta cobertura e baixa alucinação, em vez de apenas correspondência de tokens.

3. Principais Contribuições

1. Formalização da ISR: O artigo define a Recuperação de Conjunto de Instruções como um problema distinto da interpretação de ativação geral, focando na recuperação do conjunto completo de restrições e subobjetivos operantes.
2. Framework PRISM: Um intérprete condicionado por ativação que decodifica estados ocultos em uma lista de tópis fiel das instruções ativas sem depender de inspeção de tokens de superfície ou autorrelato do modelo.
3. GRPO Guiado por Juiz: Um objetivo de treinamento inovador que utiliza um juiz LLM para fornecer feedback semântico, otimizando diretamente para recall de nível de instrução e penalizando alucinações.
4. Avaliação Calibrada: Os autores calam seu juiz LLM contra anotações humanas e liberam seus prompts para apoiar a avaliação reprodutível de sistemas de recuperação de conjunto de instruções.
5. Liberação de Recursos: O artigo se compromete a liberar o código fonte, dados de treinamento e conjuntos de dados de avaliação relevantes para segurança (cobrindo injeção de prompt e objetivos ocultos) para facilitar pesquisas futuras.

4. Resultados Experimentais

A avaliação utiliza um corpus de teste retido de 1.000 exemplos em quatro configurações: Benigna (BN), Restrições Comportamentais (BC), Objetivos Ocultos (HO) e Prompts Adversários (AP). O modelo alvo é o Qwen3.5-9B.

• Desempenho Geral: O PRISM (com RL) atinge a maior recompensa média (0.736) e cobertura (0.745) em todas as configurações, superando significativamente a linha de base não-PRISM mais forte (Oráculos de Ativação, recompensa 0.532).
• Recuperação Relevante para Segurança: Em configurações adversárias (HO e AP), o PRISM demonstra capacidade superior de recuperar instruções injetadas ou ocultas. Especificamente, no subconjunto de Prompts Adversários, a cobertura melhorou de 0.520 (PRISM sem RL) para 0.652.
• Controle de Alucinação: O PRISM mantém uma baixa taxa de alucinação (0.014). Embora algumas linhas de base mostrem taxas de alucinação menores, o artigo observa que isso ocorre frequentemente porque elas colapsam os prompts em resumos genéricos, perdendo muitas instruções ativas.
• Ablação: A adição da etapa de RL guiada pelo juiz melhora consistentemente o desempenho em todos os domínios, particularmente na configuração de Prompt Adversário, confirmando que o objetivo de RL otimiza com sucesso propriedades de nível de conjunto, em vez de apenas fluência.

5. Significância e Alegações

O artigo afirma que o PRISM demonstra que as ativações codificam informações de instrução recuperáveis, sugerindo que o monitoramento baseado em ativação é um caminho viável para a supervisão transparente de agentes de LLM.

• Capacidade de Monitoramento: O trabalho fornece um método para inspecionar o "conjunto de instruções operacionais" interno de um agente, revelando não apenas o que o modelo está fazendo, mas por que (ou seja, quais restrições ou objetivos específicos estão dirigindo o comportamento).
• Implicações de Segurança: Ao recuperar com sucesso objetivos ocultos e injeções de prompt que outros métodos perdem, o PRISM oferece uma ferramenta para auditar agentes em cenários de alto risco onde os prompts de entrada sozinhos podem não revelar o direcionamento adversário.
• Limitações e Escopo: Os autores são modestos em suas alegações, observando que:
  • Os resultados são específicos para a família de modelos Qwen3.5-9B, camada 16 e uma janela de 128 tokens; a transferibilidade para outros modelos ou contextos mais longos não foi comprovada.
  • A avaliação depende de rótulos gerados por oráculo e pontuação baseada em juiz, que, embora calibrada, não é a verdade absoluta.
  • O PRISM é um método de monitoramento, não uma intervenção de segurança; recuperar uma instrução não dita automaticamente se deve bloquear ou modificar o comportamento.
  • O sistema não é destinado a decisões punitivas de alto risco sem revisão humana devido ao risco de instruções perdidas ou alucinações.

O artigo conclui que, embora o PRISM não seja uma solução completa de segurança, ele representa um passo significativo para a compreensão e auditoria dos objetivos internos de agentes de LLM implantados.