Resumo Técnico: Forense de Caixa Preta para Agentes de LLM Conversacionais

Declaração do Problema

À medida que a adoção de Grandes Modelos de Linguagem (LLM) se expande, aumenta também a proliferação de campanhas de fraude, engenharia social e desinformação assistidas por IA. Esses agentes maliciosos frequentemente operam atrás de endpoints anônimos onde os investigadores carecem de acesso aos pesos do modelo, prompts de sistema ou configurações internas. O artigo aborda o desafio da forense de caixa preta: recuperar informações identificadoras sobre o modelo base de um agente e seu prompt de sistema exclusivamente através da interação conversacional, sem o uso de sondagem adversária ou acesso a estados internos.

Os autores definem duas capacidades complementares necessárias para esta tarefa:

1. Atribuição: Identificar qual modelo base ou prompt de sistema alimenta um endpoint específico a partir de um conjunto fixo e fechado de candidatos.
2. Impressão Digital (Fingerprinting): Determinar se dois transcritos de conversa distintos originam-se da mesma configuração oculta (modelo base + prompt de sistema), mesmo que essa configuração específica nunca tenha sido vista durante o treinamento (zero-shot).

Esta capacidade é crítica para vincular golpes individuais a redes criminosas, detectar mudanças silenciosas de API (por exemplo, provedores trocando modelos de backend sem divulgação) e adaptar esforços de red-teaming para vulnerabilidades específicas de modelos.

Metodologia

O artigo propõe um framework que se baseia em elicitação ativa em vez de observação passiva. Um agente "detetive" (alimentado pelo QWEN-4B-INSTRUCT) inicia e direciona conversas comuns e não adversariais com um agente "alvo". Esta abordagem evita a detectabilidade de strings adversárias tradicionais ou injeções de prompt, permitindo que a ferramenta forense permaneça oculta.

Geração de Dados

Devido à inviabilidade de obter dados do mundo real rotulados (o que exigiria a extração de prompts proprietários ou dependeria de dados raspados não verificados), os autores construíram um corpus sintético de 240.000 transcritos rotulados.

• Modelos Base: Seis modelos foram utilizados: GPT-OSS-20B, GPT-OSS-120B, LLAMA-3.1-8B-INSTRUCT, QWEN-4B-INSTRUCT, GPT-4O-MINI e GPT-4.1-NANO.
• Prompts de Sistema: 40 prompts de sistema distintos foram curados, cobrindo cenários de suporte ao cliente e negociação.
• Variações: Para testar a sensibilidade, os autores criaram variantes controladas de prompts, incluindo truncamento severo, parafraseamento semântico e resumos de alta densidade.
• Controle: Todas as interações utilizaram configurações de geração padronizadas (temperatura 0.7, máximo de 512 tokens) para isolar impressões digitais estilísticas e estruturais do ruído semântico.

Abordagens Técnicas

1. Atribuição

Os autores adaptaram técnicas de atribuição de autoria para dados conversacionais:

• Baseline Esparsa: Utilizou TF-IDF de nível de unigrama/caractere e características estilométricas (frequência de pontuação, comprimento da fala) com um classificador de regressão logística multinomial.
• Baseline Densa: Realizou o ajuste fino (fine-tuning) do QWEN-4B-INSTRUCT usando adaptadores LoRA para atuar como um classificador.
• Tarefa: O sistema tenta mapear uma conversa para um modelo base ou prompt de sistema específico de um conjunto conhecido de candidatos.

2. Impressão Digital (Fingerprinting - Zero-Shot)

A inovação central é uma abordagem de cross-encoder projetada para combinar duas conversas à mesma configuração oculta sem treinamento prévio naquela configuração específica.

• Arquitetura: Os autores utilizaram ELECTRA-large e BERT-base como cross-encoders. Esses modelos codificam pares de conversas e geram probabilidades de log para uma classificação de "mesmo vs. diferente".
• Objetivo de Treinamento: O modelo é treinado para distinguir entre pares de conversas da mesma configuração de agente versus pares de configurações diferentes (prompts diferentes no mesmo modelo base).
• Manipulação de Entrada: Devido aos limites de janela de contexto (512 tokens), as conversas foram truncadas para os três primeiros turnos.
• Escalabilidade: O método avalia o desempenho agregando múltiplos pares de conversas ($k$) do mesmo alvo para aumentar a confiança.

Principais Resultados

Desempenho de Atribuição

• Atribuição de Modelo Base: O sistema alcança 98% de precisão na identificação do modelo base a partir de poucos turnos de conversa não adversária. Ele distingue com sucesso entre modelos da mesma família, mas de tamanhos diferentes (ex: GPT-OSS-20B vs. GPT-OSS-120B) com 95% de precisão.
• Atribuição de Prompt de Sistema: Embora possível, a precisão é altamente dependente da responsividade do modelo base às instruções e da similaridade semântica dos prompts.
  • Em modelos como QWEN-4B-INSTRUCT e GPT-4.1-NANO, a atribuição de prompt pareada atinge precisão superior a 90%.
  • Em modelos como GPT-OSS-20B e GPT-OSS-120B, a precisão da atribuição cai significativamente, e a correlação entre a similaridade semântica do prompt e a detectabilidade é desprezível ($r < 0,2$).
  • A classificação multi-vias de prompts provou ser significativamente mais difícil do que a classificação binária, com classificadores ajustados com dificuldade para exceder 63% de precisão.

Desempenho de Impressão Digital (Fingerprinting)

• Capacidade Zero-Shot: O método de cross-encoder alcança um AUC de 0,768 e um F1 score de 0,703 em prompts de sistema inteiramente inéditos (configuração zero-shot).
• Escalabilidade com Evidências: O desempenho melhora substancialmente com mais dados. Agregar 50 pares de conversas por agente alvo eleva o AUC para 0,943 e o F1 para 0,77. Mesmo com apenas 5 pares, o AUC chega a 0,83.
• Comparação com Baselines: O cross-encoder superou significativamente os baselines, incluindo sobreposição de N-gram (AUC 0,59), regressão logística simples (AUC 0,667) e bi-encoders (AUC ~0,75).

Robustez

• Mudanças de Tópico e Agente: O método é robusto a mudanças nos tópicos de conversa e na identidade do agente detetive (ex: usando GPT-OSS-20B como detetive em vez de QWEN-4B-INSTRUCT), com quedas de AUC inferiores a 0,03.
• Parâmetros de Amostragem: Variações de temperatura e limites de tokens causaram degradação mínima de desempenho (<0,02 de queda no AUC).
• Perturbações Adversárias:
  • Ataques de Parafraseamento: Usar um LLM proxy para refrasear as falas reduziu o desempenho em 0,10 AUC, mas o método permanece eficaz (AUC 0,94 com $k=10$).
  • Comprimento de Contexto: O desempenho degrada significativamente com contextos curtos (conversas de 1 turno reduzem o AUC em 0,20) e em estágios tardios de interações longas, embora a votação majoritária possa recuperar parte do desempenho.

Significância e Alegações

O artigo afirma ser o primeiro a estudar a atribuição de prompt de sistema e a impressão digital em um ambiente conversacional de caixa preta sem acesso aos pesos do modelo, prompts de sistema ou conversas de treinamento de verdade fundamental (ground-truth).

Principais contribuições incluem:

1. Forense Coberta: Demonstrar que atribuição e impressão digital de alta fidelidade podem ser alcançadas através de diálogos comuns e não adversariais, evitando os riscos de detecção associados à injeção de prompt ou sondagem adversária.
2. Escalabilidade para o Mundo Aberto: Ao contrário dos métodos de atribuição que requerem um conjunto de candidatos fixo, a abordagem de impressão digital escala para o "mundo aberto", permitindo agrupar distintas campanhas de golpes ou detectar derivações silenciosas de API sem necessidade de retreinamento na nova configuração.
3. Utilidade Prática: Os resultados sugerem que agregar um pequeno número de interações (ex: 50 turnos) é suficiente para vincular diversos golpes a redes criminosas ou identificar trocas silenciosas de modelos com alta confiança.

Os autores posicionam este trabalho como uma ferramenta necessária para equipes de governança de plataforma e segurança, permitindo rastrear golpes baseados em IA até seus provedores e detectar mudanças de backend não anunciadas que poderiam alterar materialmente o comportamento downstream.

Limitações e Considerações Éticas

Os autores reconhecem que sua avaliação depende de um corpus sintético, que pode servir como um limite inferior para o desempenho no mundo real, dada a diversidade de prompts de sistema reais. Eles enfatem que a metodologia deve ser estritamente restrita à auditoria de APIs comerciais públicas e à investigação de operações maliciosas coordenadas e de larga escala. Para mitigar riscos de vigilância, eles propõem protocolos operacionais que incluem validação prévia do alvo, minimização de dados, redação de PII (informações de identificação pessoal) e auditabilidade obrigatória.