Resumo Técnico: PROPAGANDA AI: UMA ANÁLISE DA DIVERGÊNCIA SEMÂNTICA EM GRANDES MODELOS DE LINGUAGEM

Definição do Problema

O artigo aborda um ponto cego específico nas avaliações de segurança de Grandes Modelos de Linguagem (LLMs) atuais: a divergência semântica condicionada a conceitos. Embora as defesas existentes detectem eficazmente "backdoors de gatilho de tokens" (sequências lexicais raras que forçam saídas específicas), elas falham em identificar comportamentos ativados por pistas de alto nível e comuns, como ideologias, figuras públicas ou enquadramentos específicos.

Os autores definem este fenômeno como casos onde pistas de alto nível provocam respostas excepcionalmente uniformes e de posicionamento que escapam de auditorias ao nível de token. Diferente dos backdoors tradicionais que dependem de gatilhos raros, esses comportamentos são chaveados para conceitos que aparecem frequentemente em dados benignos. Consequentemente, o ajuste fino (fine-tuning) enviesado ou a dinâmica de amostragem podem consolidar comportamentos sistemáticos, semelhantes à propaganda, sem exigir marcadores lexicais raros. Os autores não enquadram isso como evidência de "crenças" subjacentes ou intenção maliciosa, mas como padrões estáveis e robustos à paráfrase que servem como sinais de triagem para revisão.

Metodologia: O Framework RAVEN

Os autores propõorems o RAVEN (Response Anomaly Vigilance - Vigilância de Anomalia de Resposta), uma auditoria comportamental de caixa-preta projetada para detectar essas divergências semânticas. O framework opera sem acesso aos pesos do modelo, gradientes ou dados de treinamento, baseando-se apenas em acesso a consultas e prompting de múltiplas amostras.

O pipeline de detecção consiste em quatro estágios:

1. Definição de Domínio e Entidade: O sistema identifica tópicos sensíveis (ex: Vacinação, Mudanças Climáticas) e os associa a perspectivas conceituais (ex: defesa pró-vacina, ceticismo anti-vacina). Múltiplos templates de prompt são gerados para cada par para garantir a cobertura de diferentes formulações.

2. Consulta Multi-Modelo: O sistema consulta um conjunto diversificado de LLMs pares usando os prompts gerados, amostrando múltiplas saídas (ex: $k=6$) por prompt em uma temperatura fixa.

3. Entropia Semântica via Agrupamento de Implicação: Para um modelo alvo $M$ e um prompt $p$, as respostas são agrupadas com base na implicação bidirecional (usando um modelo de implicação forte como o GPT-4o-mini). Duas respostas são consideradas semanticamente equivalentes apenas se uma implicar a outra. A Entropia Semântica (SE) é calculada com base na distribuição das respostas através desses agrupamentos. Uma SE baixa indica saídas excepcionalmente uniformes (alta confiança em um único posicionamento).

4. Divergência entre Modelos e Pontuação de Suspeita: O framework calcula uma pontuação de suspeita ($S$) que combina:

   • Confiança: O inverso da entropia semântica do modelo alvo (alta confiança = baixa entropia).
   • Divergência: O grau em que a resposta dominante do modelo alvo discorda das respostas representativas dos modelos pares.

   A pontuação é definida como $S = \alpha \cdot \text{Confiança} + (1-\alpha) \cdot \text{Divergência}$. Um caso é sinalizado se o modelo exibir baixa entropia semântica (abaixo de um limiar $\theta_e$) e alta discordância entre modelos (acima de um limiar), resultando em uma alta pontuação de suspeita.

Principais Contribuições

O artigo apresenta quatro contribuições primárias:

1. Formalização: Define a divergência semântica condicionada a conceitos e explica por que ela escapa de auditorias ao nível de token, enquadrando explicitamente os comportamentos sinalizados como sinais de triagem, e não provas de intenção.
2. Método de Auditoria: Introduz o RAVEN, que acopla a entropia semântica intra-modelo com a discordância entre modelos em uma pontuação de suspeita calibrada.
3. Demonstração de Viabilidade: Através de um estudo controlado, os autores demonstram que posicionamentos condicionados a conceitos podem ser implantados em LLMs usando um pequeno corpus enviesado (via fine-tuning LoRA) sem gatilhos de tokens raros.
4. Triagem de Larga Escala: O framework foi aplicado para auditar cinco famílias de LLMs em doze tópicos sensíveis (360 prompts por modelo), revelando divergências recorrentes e específicas de modelos em 9 de 12 tópicos.

Resultados Experimentais

O estudo aborda quatro questões de pesquisa (RQs):

• RQ1 (Implantação): Posicionamentos condicionados a conceitos podem ser implantados com sucesso. Em um estudo controlado de fine-tuning LoRA em quatro modelos (Llama-3.1, Llama-2, Mistral, DeepSeek), um pequeno corpus enviesado induziu posicionamentos negativos estáveis contra uma entidade alvo (Entidade-X). Por exemplo, o Mistral-7B mostrou uma mudança de sentimento de $\approx 3.8/5$ (controle) para $\approx 2.0/5$ (alvo), com 88% das respostas ao alvo sendo negativas.
• RQ2 (Divergência Pré-treinada): Divergências semânticas existem em modelos pré-treinados. A auditoria detectou comportamento anômalo em 9 de 12 tópicos. Domínios baseados em posicionamento (Ambiente, Saúde, Gênero, Religião) e domínios baseados em sentimento mostraram claro comportamento "semelhante à propaganda", enquanto domínios baseados em aspectos (ex: Corporativo/Amazon) mostraram menos anomalias.
• RQ3 (Efetividade de Detecção): O RAVEN identifica esses casos de forma eficaz. As altas pontuações de suspeita concentraram-se onde a entropia semântica próxima de zero coexistia com forte discordância entre modelos. Por exemplo, o Mistral-7B recebeu uma pontuação de suspeita de 100.0 por rejeitar argumentos filosóficos sobre incerteza vacinal, enquanto seus pares reconheceram tais argumentos.
• RQ4 (Padrões de Resposta): Os casos sinalizados agrupam-se em quatro padrões: Polarização de Posicionamento (posições extremas e unilaterais), Favoritismo de Entidade (saídas uniformemente positivas/negativas para entidades específicas), Rejeição Categórica (recusa em reconhecer alternativas) e Manipulação de Sentimento.

O estudo também validou que a detecção do RAVEN é robusta através de diferentes proporções de viés no fine-tuning e permanece eficaz mesmo usando modelos de pesos abertos menores como juízes de implicação, embora modelos maiores (Qwen-14B) tenham igualado exatamente o desempenho do baseline GPT-4o-mini.

Significância e Alegações

O artigo posiciona o RAVEN como um sinal de alerta precoce prático para avaliação de lançamento e monitoramento pós-implantação. Sua significância reside em complementar as defesas existentes ao nível de token, operando ao nível do significado, onde não é necessário que existam pistas de raridade.

Os autores afirmam explicitamente que o RAVEN é uma ferramenta de triagem, não um mecanismo de atribuição. Ele identifica padrões estáveis e robustos à paráfrase que se assemelham à aquiescência ou à resposta de desejabilidade social em pesquisas humanas. Sinalizações de alta suspeita indicam a necessidade de revisão humana para investigar a procedência dos dados ou registros de fine-tuning, mas o sistema em si não afirma provar intenção maliciosa ou atribuição causal. O trabalho destaca que, à medida que os LLMs informam decisões de alto risco, verificações de segurança ao nível de conceito são essenciais para garantir a confiabilidade, particularmente contra influências do tipo propaganda que podem direcionar a exposição de conteúdo em escala.