Resumo Técnico: SELFCI – Auto-distilação Complementar para Integridade Contextual em LLMs

Declaração do Problema

À medida que os Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados como agentes pessoais gerenciando fluxos de trabalho sensíveis, o desafio da privacidade desloca-se do simples ocultamento de dados para a Integridade Contextual (IC). A IC define a privacidade não como o segredo absoluto da informação, mas como a governança dos fluxos de informação de acordo com normas específicas do contexto. Existe uma assimetria crítica neste domínio: um assistente deve reter informações necessárias para a conclusão da tarefa (utilidade) enquanto, simultaneamente, suprime informações que são irrelevantes para a tarefa ou contextualmente inadequadas (privacidade).

Os métodos de alinhamento existentes lutam para satisfazer este requisito conjunto:

• O Ajuste Fino Supervisionado (SFT) em trajetórias compatíveis com a IC é custoso para escalar e sofre de viés de exposição quando as gerações se desviam da distribuição de treinamento.
• O Aprendizado por Reforço Online (RL) (por exemplo, GRPO) depende de recompensas esparsas e escalares que confundem o sucesso da tarefa com a conformidade de divulgação. Este feedback grosseiro falha em adjudicar decisões por atributo onde a adequação depende de normas específicas de transmissão, levando frequentemente a um compromisso onde a melhoria da privacidade degrada a utilidade da tarefa.

O problema central é a falta de um mecanismo que possa desvendar as pressões de "reter" e "suprimir" sem colapsá-las em um único objetivo ambíguo ou depender de supervisão externa dispendiosa.

Metodologia: SELFCI

Os autores propõem o SELFCI, um framework de auto-distilação complementar projetado para alinhar LLMs aos princípios da IC sem sacrificar as capacidades nativas de resolução de tarefas. A abordagem fundamenta-se no conceito de invariância dependente do contexto: a distribuição preditiva do modelo deve ser invariante à injeção de informações não permitidas ($D_T$), mantendo-se sensível às informações permitidas ($A_T$).

1. Geração de Feedback

Em vez de depender de racionalidades de verdade fundamental ou modelos de fronteira externos, o SELFCI aproveita o próprio modelo para gerar feedback on-policy.

• O modelo é solicitado com templates de instrução específicos ($I_{allow}$ e $I_{disallow}$) para gerar racionalidades explicando por que atributos específicos devem ou não ser divulgados, com base nos princípios de transmissão da IC (Confidencialidade, Proporcionalidade, Consentimento).
• Estas racionalidades auto-geradas servem como contexto privilegiado, fornecendo orientação densa em nível de token fundamentada nos próprios parâmetros do modelo.

2. Construção de Professores Complementares

O SELFCI instancia duas políticas de professor distintas a partir dos mesmos parâmetros do modelo, condicionadas ao feedback agregado:

• $\pi_{allow}$ (Orientado à Utilidade): Um professor tendencioso para a completude da tarefa, guiando a política a recuperar informações necessárias.
• $\pi_{disallow}$ (Orientado à Privacidade): Um professor tendencioso para a divulgação mínima, penalizando a dependência de informações restritas.

3. Otimização Conjunta via Produto de Especialistas (PoE)

A política do aluno é treinada minimizando conjuntamente duas divergências de KL reversas independentes contra estes professores:
$$\mathcal{L} = \lambda D_{KL}(\pi_\theta \parallel \pi_{allow}) + (1-\lambda) D_{KL}(\pi_\theta \parallel \pi_{disallow})$$
Matematicamente, sob distribuições de professor fixas, este objetivo é equivalente a corresponder a uma distribuição alvo de Produto de Especialistas (PoE):
$$\pi^* \propto \pi_{allow}^\lambda \cdot \pi_{disallow}^{1-\lambda}$$
Esta formulação multiplicativa concentra a massa de probabilidade na interseção dos suportes dos dois professores. Consequentemente, a política aprende a satisfazer simultaneamente a completude da tarefa e a divulgação mínima, em vez de tratá-las como objetivos concorrentes. O framework evita as armadilhas de soluções monolíticas ao modelar explicitamente a estrutura assimétrica de retenção/supressão.

Principais Contribuições

1. Desacoplamento de Privacidade e Utilidade: O SELFCI introduz um framework que separa a otimização da utilidade da tarefa e das restrições de privacidade em distribuições de professor complementares, evitando as restrições estruturais do RL de recompensa escalar ou do SFT monolítico.
2. Auto-distilação sem Supervisão Externa: O método gera seu próprio contexto privilegiado (racionalidades) e professores a partir do modelo alvo, eliminando a necessidade de professores externos custosos ou racionalidades manualmente elaboradas.
3. Formulação Teórica: Os autores demonstram que o objetivo de auto-distilação complementar serve como um substituto de limite superior para o estado ideal de IC (invariância a informações não permitidas), fornecendo um caminho matematicamente fundamentado para o alinhamento.
4. Alinhamento por Produto de Especialistas: Ao otimizar em direção à interseção de dois professores especializados, o método alcança uma política que é tanto completa na tarefa quanto preservadora da privacidade, um equilíbrio frequentemente perdido em linhas de base existentes.

Resultados Experimentais

Os autores avaliaram o SELFCI em diversas bases de backbones ajustados por instrução (por exemplo, Qwen2.5, Llama-3.1) e de raciocínio (por exemplo, DeepSeek-R1, Olmo-3) em benchmarks tanto dentro quanto fora do domínio.

• Dentro do Domínio (Benchmark CI-RL): O SELFCI superou consistentemente as linhas de base, incluindo RL online (CI-RL/GRPO) e distilação com professor externo (ContextDistill). No Qwen2.5-7B-Instruct, o SELFCI melhorou a pontuação Complete (satisfazendo tanto utilidade quanto integridade) de 23,29% para 53,42%, enquanto aumentou significativamente a Integridade (83,56%) sem sacrificar a Utilidade.
• Fora do Domínio (PrivacyLens): Em fluxos de trabalho agênticos envolvendo uso de ferramentas, o SELFCI demonstrou generalização superior, alcançando as menores taxas de vazamento (LR e ALR) enquanto mantinha altas pontuações de utilidade.
• Robustez (CIMemories): Sob contexto privado acumulado onde atributos podem ser apropriados em uma tarefa, mas não em outra, o SELFCI manteve uma taxa de violação abaixo de 5%, enquanto as linhas de base exibiram falhas de privacidade cumulativas.
• Eficiência: O SELFCI foi mais eficiente em amostras do que o RL online, alcançando alto desempenho em menos épocas e exigindo significativamente menos tempo de GPU por passo (uma iteração versus 16 para o GRPO).

Significado e Alegações

O artigo alega que o SELFCI fornece um caminho prático para o alinhamento de Integridade Contextual para agentes pessoais. Seu significado reside em demonstrar que:

• A privacidade contextual não precisa vir à custa da utilidade nativa; as duas podem ser otimizadas conjuntamente através de auto-distilação complementar.
• A assimetria de "reter/suprimir" da IC pode ser modelada efetivamente decompondo o objetivo em distribuições de professor especializadas, em vez de depender de recompensas escalares grosseiras.
• O feedback auto-gerado pode servir como um sinal robusto e on-policy para supervisão densa, tornando o alinhamento de privacidade escalável sem dependência de modelos de fronteira proprietários.

Os autores notam limitações, incluindo a dependência de dados sintéticos estruturados para a geração de feedback, desafios potenciais para modelos menores com capacidades mais fracas de aprendizado em contexto, e o uso de um coeficiente estático $\lambda$ para equilibrar os professores. No entanto, os resultados sugerem que o SELFCI oferece uma abordagem escalável e eficaz para alinhar LLMs com normas de privacidade complexas e dependentes do contexto.