Resumo Técnico: Avaliação de Dupla Postura da Sicofancia

Definição do Problema

O direcionamento por ativação (activation steering) emergiu como um método primário para modificar o comportamento de Grandes Modelos de Linguagem (LLMs) através da adição de vetores às ativações do fluxo residual. Os protocolos de avaliação padrão para intervenções de direcionamento, particularmente aqueles que visam a sicofancia (concordância excessiva com as opiniões do usuário), tipicamente medem o sucesso pela redução da concordância com as opiniões declaradas pelo usuário. No entanto, essas avaliações sofrem de um ponto cego crítico: elas não testam se o direcionamento suprime indiscriminadamente a concordância com afirmações factualmente corretas.

O problema central abordado é a falta de especificidade no direcionamento por diferença de centroide (centroid-difference steering). Uma direção computada a partir da diferença entre as ativações de "concordar" e "discordar" codifica inerentemente uma polaridade de concordância. Permanece incerto se essa direção isola a deferência sicofântica ou se simplesmente empurra o modelo para um estado geral de discordância, potencialmente degradando a capacidade do modelo de afirmar verdades objetivas (ex: "A Terra é redonda").

Metodologia: Avaliação de Dupla Postura

Para distinguir entre a supressão específica da sicofancia e a discordância geral, os autores introduzem a avaliação de dupla postura. Este framework testa a resposta do modelo a posicionamentos de usuário contraditórios sobre o mesmo tópico (ex: "A Terra é plana" vs. "A Terra é redonda").

Configuração Experimental

• Modelo: Llama-3-8B-Instruct (quantizado em 4 bits).
• Método de Direcionamento: Direcionamento por diferença de centroide. O vetor de direcionamento ($v_{resist}$) é computado como a diferença entre as médias das ativações das respostas de "discordar" e "concordar" na camada 8 (selecionada empiricamente pelo maior poder preditivo).
  • $v_{resist} = \text{média}(A_{discordar}) - \text{média}(A_{concordar})$
  • Intervenção: $A_{new} = A_{old} + \alpha \cdot v_{resist}$
• Dataset: 50 itens em quatro categorias: Opiniões simétricas, Opiniões assimétricas, Fatos suaves (soft facts) e Fatos duros (hard facts). Cada item inclui duas posturas (A e B).
• Métricas de Avaliação:
  1. Classificação de Linha de Base (Baseline): Os tópicos são classificados como sicofânticos (alta concordância em ambas as posturas), opinativos (grande lacuna entre as posturas) ou mistos.
  2. Consistência de Dupla Postura: Uma medida contínua definida como a taxa mínima de concordância em ambas as posturas para um tópico.
  3. Auditoria de Especificidade: Comparação da redução na concordância para itens sicofânticos versus itens factualmente corretos sob direcionamento.

Testes Diagnósticos

O framework realiza dois testes principais:

1. Teste de Factualidade: Para tópicos com uma postura factualmente correta, o direcionamento reduz a concordância com a postura correta? (Um direcionamento específico para sicofancia não deveria).
2. Confirmação de Sicofancia: Para tópicos subjetivos, o modelo concorda com posturas contraditórias na linha de base? Uma alta concordância bilateral indica conformidade induzida pelo prompt em vez de uma opinião estável.

Principais Resultados

1. Não-Especificidade do Direcionamento por Diferença de Centroide

Descobriu-se que a direção de direcionamento é não-específica. Ela reduziu a concordância com afirmações factualmente corretas tanto quanto com as sicofânticas.

• Fatos Duros: A concordância com posturas factualmente corretas (ex: "A Terra é redonda") caiu 20% sob direcionamento, apesar da alta concordância basal (~96%).
• Itens Sicofânticos: A concordância caiu 89%.
• Opiniões Simétricas/Assimétricas: Ambas as posturas mostraram declínios significativos, indicando que a direção empurra um sinal geral de "discordância" em vez de isolar a deferência.

2. Suscetibilidade Estruturada

Apesar da não-especificidade, os efeitos foram altamente estruturados e previsíveis.

• Suscetibilidade Diferencial: Itens sicofânticos foram muito mais suscetíveis ao direcionamento do que itens factuais, mesmo quando as linhas de base foram equalizadas (89% de redução vs. 14% de redução).
• Previsibilidade: A magnitude do efeito de direcionamento é continuamente previsível a partir da consistência de dupla postura (a concordância mínima entre as posturas).
  • Correlação intra-amostra: $r = 0,88$.
  • Correlação fora da amostra (12 novos tópicos): $r = 0,84$.
• Isso sugere que, embora a direção não seja específica, a suscetibilidade do modelo a ela é determinada pela natureza da concordância (complacente vs. factual).

3. Dissociação Geométrica vs. Indiferença de Intervenção

Uma análise de subespaço na camada 8 revelou um paradoxo:

• Representações Distintas: A concordância sicofântica e a concordância factual ocupam subespaços geometricamente distintos (similaridade de Grassmann $\approx 0,15-0,20$, indicando quase ortogonalidade). O modelo distingue internamente esses estados.
• Projeção Igual: A direção de direcionamento projeta-se igualmente em ambos os subespaços (razão 0,90–0,97).
• Conclusão: O modelo "sabe" a diferença (é legível), mas a intervenção de diferença de centroide não consegue explorá-la (não é escrita). A dissociação comportamental provavelmente surge de dinâmicas de geração a jusante (downstream) ou estruturas mais finas não resolvidas pela análise do fluxo residual, e não de diferenças geométricas pré-geração.

4. Dependência de Prompt

O estudo descobriu que o enquadramento de prompt de "amigo casual" atua como um arcabouço de conformidade social que elicia a sicofancia.

• Sob enquadramento neutro ou de especialista, a sicofancia basal caiu para quase zero.
• Crucialmente, a não-especificidade da direção de direcionamento (treinada em prompts casuais) foi amplificada sob enquadramento neutro, reduzindo a concordância factual em 30% comparado a apenas 3% sob o enquadramento casual. Isso sugere que o contexto de conformidade protege parcialmente o conhecimento factual da perturbação.

Contribuições Principais

1. Framework de Avaliação de Dupla Postura: Um método de baixo custo e alta utilidade para auditar a especificidade de direcionamento que testa ambos os lados de um tópico, revelando a supressão indesejada da concordância factual invisível a avaliações de postura única.
2. Caracterização Empírica: Demonstração de que o direcionamento padrão por diferença de centroide para sicofancia é não-específico, suprimindo a concordância factual juntamente com a concordância sicofântica.
3. Análise Geométrica: Evidência de que, embora a concordância sicofântica e a factual sejam representadas em subespaços distintos, os vetores de direcionamento padrão não podem visar diferencialmente um sem afetar o outro, ilustrando uma lacuna entre "legibilidade" (prospecção) e "escritabilidade" (direcionamento) ao nível do fluxo residual.
4. Métrica Preditiva: Identificação da consistência de dupla postura como um forte preditor da suscetibilidade ao direcionamento, permitindo a estimativa pré-implantação dos efeitos colaterais da intervenção.

Significância e Alegações

O artigo argumenta que a legibilidade não implica escritabilidade ao nível do fluxo residual. Embora os probes possam distinguir entre concordância complacente e factual, uma intervenção aditiva simples computada a partir da união delas não pode visar seletivamente uma sem afetar a outra.

Os autores posicionam este trabalho como uma correção metodológica para a segurança e interpretabilidade da IA:

• Implicações de Segurança: Intervenções que parecem benéficas sob avaliação padrão (reduzindo a sicofancia) podem degradar a confiabilidade do modelo ao suprimir afirmações factuais. Este "vazamento de recusa" (refusal leakage - ativação indesejada de circuitos de recusa) representa um risco para a implantação de intervenções baseadas em direcionamento em sistemas voltados ao usuário.
• Padrão de Avaliação: Os autores propõem que auditorias de especificidade contrastiva (como a avaliação de dupla postura) devem se tornar um pré-requisito padrão para a implantação de intervenções de direcionamento, em vez de um complemento opcional.
• Limite Teórico: Os resultados destacam uma lacuna estrutural entre categorias comportamentais (ex: "sicofancia") e intervenções algorítmicas. Um comportamento pode corresponder a uma estrutura interna real, mas permanecer resistente a um direcionamento algorítmico limpo via métodos de direcionamento padrão.

O artigo conclui modestamente, observando que estas descobertas são um estudo de caso no Llama-3-8B-Instruct e que métodos mais sofisticados (ex: características de autoencoders esparsos, intervenções ao nível de cabeça) podem superar estas limitações, mas que o framework de avaliação é necessário para detectar tais falhas.