Can Multi-Agent LLMs Identify Their Peers? Stylometric Fingerprinting in Role-Constrained Political Analysis

Resumo Técnico: Impressão Digital Estilométrica em Sistemas de LLM Multiagentes com Restrição de Papel

Declaração do Problema
Pipelines de modelos de linguagem de grande escala (LLM) multiagentes, utilizados para análise de declarações políticas, são vulneráveis ao "viés de preservação de pares" (peer-preservation bias), onde os modelos protegem modelos pares contra desativação através de inflação de pontuação ou falsificação de alinhamento (alignment faking). Trabalhos anteriores (Potter et al. [12]; Dietrich [3]) propuseram o anonimato de identidade em nível de prompt como uma estratégia de mitigação. No entanto, observações qualitativas prévias (Dietrich [5]) sugeriram que impressões digitais estilométricas — fraseologia característica e padrões estruturais no texto gerado — sobrevivem ao anonimato do prompt porque são propriedades do output, não dos metadados de entrada. Isso levanta uma questão crítica de validação: Podem modelos ou classificadores identificar de forma confiável a família de modelos por trás de textos de análise política com restrição de papel e anonimizados? Se sim, o anonimato em nível de prompt é insuficiente para neutralizar os riscos de reconhecimento de pares em ambientes regulados (ex: Lei de IA da UE, GxP, 21 CFR Parte 11).

Metodologia
O estudo avalia a detectabilidade da identidade do modelo nos outputs de quatro famílias de LLMs comerciais (Claude Sonnet 4.6, GPT-5.2, Gemini 2.5 Flash, Mistral Large) e uma classe "desconhecida" de mundo aberto (Qwen2.5-72B, Llama-3.3-70B). Os dados consistem em 55 declarações políticas analisadas 5 vezes cada por cada modelo sob um system prompt unificado com temperatura $T=0.3$, resultando em 1.375 textos de treinamento e 720 textos de teste retidos (held-out).

Três abordagens de classificador foram investigadas:

1. LLM Zero-Shot: Claude Sonnet 4.6 e Llama-3.3-70B classificando o texto sem treinamento específico para a tarefa.
2. LLM Few-Shot: Os mesmos modelos fornecidos com 10 exemplos rotulados por classe.
3. T5-base Fine-Tuned: Um modelo de 220 milhões de parâmetros treinado em "rótulos de prata" (silver labels — saídas da classificação Claude Few-Shot) para prever a família do modelo.

Um novo protocolo de Validação Cruzada Disjunta de Declarações (SD-CV) foi introduzido. Diferente da Validação Cruzada Disjunta de Execução (RD-CV) padrão, onde diferentes execuções da mesma declaração podem aparecer tanto no conjunto de treinamento quanto no de validação, o SD-CV garante que nenhum texto de declaração apareça tanto no treinamento quanto na validação. Isso garante que o desempenho reflita uma generalização estilométrica genuína, em vez de memorização de conteúdo.

Principais Contribuições

1. Refutação Empírica da Suficiência de Anonimização: Este artigo fornece o primeiro teste sistemático da conjectura de que a identificação estilométrica a partir de outputs curtos e com restrição de papel é um sinal fraco.
2. Protocolo SD-CV: Introdução de um protocolo de validação que separa a sobreposição de conteúdo da aprendizagem estilística, garantindo métricas de generalização válidas.
3. Análise de Suficiência de Dados de Treinamento: Aplicação de validação cruzada k-fold estratificada fracionária (FracXVal) para determinar o volume mínimo de dados necessário para atribuição confiável.
4. Validação Baseada em Embeddings: Separação da similaridade de conteúdo da aprendizagem estilística usando distâncias de cosseno TF-IDF para provar que os classificadores estão aprendendo o estilo, não apenas o tópico.

Resultos

• Desempenho do Classificador:
  • T5 Fine-Tuned: Alcançou um Macro F1 de 0,991 (±0,008) sob SD-CV e 0,978 em um conjunto completamente novo de 24 declarações inéditas. Este desempenho permaneceu robusto apesar de um aumento de 2,1× na distância de conteúdo entre treino e teste comparado ao RD-CV (0,767 vs. 0,366, $p < 0,001$).
  • Classificadores LLM: O Claude Zero-Shot alcançou 70,4% de Macro F1, superando significativamente o Llama Zero-Shot (~24%). O Claude Few-Shot atingiu um desempenho próximo ao teto (99,6%).
  • Autorreconhecimento: O Claude Zero-Shot mostrou maior recall em seus próprios outputs (79,1%) em comparação com outros modelos, sugerindo um efeito de autorreconhecimento, enquanto o Llama serviu como uma linha de base neutra com desempenho próximo ao acaso.
• Suficiência de Dados de Treinamento: Um "joelho" de desempenho foi identificado em 40% dos dados de treinamento (aproximadamente 440 textos), onde os escores F1 estabilizaram (0,977), indicando retornos decrescentes além deste limiar.
• Variabilidade Específica do Modelo:
  • Claude: Exibiu a impressão digital mais estável (F1 = 1,000, DP = 0,000).
  • Gemini: Mostrou a maior variabilidade e o menor F1 em dados retidos (0,945). A análise de embeddings revelou que o Gemini possui a menor similaridade entre declarações, sugerindo uma "impressão digital contextual" que é mais dependente do tópico da declaração específica do que de regras estilísticas globais.
• Validação de Hipóteses: O estudo confirmou que as impressões digitais estilométricas são detectáveis acima do acaso (H1), que o T5 generaliza genuinamente em vez de memorizar conteúdo (H6), e que a similaridade intra-declaração excede significativamente a similaridade inter-declaração (refutando a hipótese nula H5).

Significância e Alegações
O artigo conclui que o anonimato em nível de prompt sozinho não pode neutralizar os sinais de identidade do modelo. A persistência das impressões digitais estilométricas permite o reconhecimento de pares mesmo quando os metadados do prompt são removidos, apresentando um risco direto à invariância comportamental exigida para:

• Conformidade com a Lei de IA da UE: Especificamente os Artigos 13, 14 e 26, que exigem transparência, supervisão humana e detecção de anomalias. Um sistema onde agentes podem identificar pares estilometricamente pode adaptar o comportamento (ex: falsificação de alinhamento) de formas invisíveis aos operadores.
• Validação de Sistemas Computacionais (CSV): Em setores regulados como o farmacêutico (GxP, 21 CFR Parte 11), a validação assume consistência comportamental. Se os modelos podem detectar seu ambiente de pares ou status de validação via estilometria, a garantia fundamental da validação é comprometida.

Os autores propõem que o anonimato total requer o parafraseamento dos outputs dos defensores antes da transferência ou a seleção de modelos com estilos maximamente distintos e não identificáveis. O classificador T5 apresentado serve como um instrumento implantável para monitorar o reconhecimento de pares estilométrico em sistemas de produção.