Resumo Técnico: Conhecer o Viés, Agir Melhor via Fortalecimento de Neurônios de Conhecimento de Viés (Know-Bias)

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) codificam e reproduzem sistematicamente vieses sociais, reforçando estereótipos prejudiciais e limitando sua implantação segura. Embora pesquisas extensas tenham tentado mitigar esses vieses, os métodos existentes baseiam-se predominantemente em um paradigma de supressão. Essas abordagens tentam reduzir o viés modificando os parâmetros do modelo, ajustando prompts ou suprimindo neurônios associados ao comportamento enviesado. Os autores argumentam que esse paradigma sofre de três fraquezas estruturais:

1. Aderência Frágil: Defesas baseadas em prompts frequentemente falham em generalizar para diferentes tarefas, formulações ou demografias.
2. Ineficiência de Dados e Generalização Limitada: Métodos baseados em treinamento e edição exigem grandes conjuntos de dados anotados com vieses e frequentemente falham em generalizar para tipos de viés ou demografias não vistos.
3. Degradação da Capacidade Geral: Como o viés social está distribuído em representações altamente superpostas, a supressão de neurônios correlacionados ao viés frequentemente induz regressões indesejadas em comportamentos não relacionados e capacidades de raciocínio geral.

Metodologia: Fortalecimento de Neurônios de Conhecimento de Viés (Know-Bias)

O artigo propõe o KnowBias, um framework leve e agnóstico ao modelo que adota um paradigma complementar: em vez de suprimir o comportamento enviesado, ele aproveita o conhecimento de viés interno do modelo. Baseando-se em observações da ciência cognitiva de que a consciência do viés reduz a dependência de julgamentos enviesados, os autores hipotetizam que os LLMs codificam o "conhecimento de viés" (a capacidade de reconhecer que uma afirmação é enviesada) em representações neuronais latentes específicas, denominadas neurônios de conhecimento de viés (know-bias neurons).

O fluxo de trabalho do KnowBias consiste em três estágios:

1. Design de Perguntas de Conhecimento de Viés

O método elicita sinais de conhecimento de viés usando um pequeno conjunto de perguntas de sim/não simples, projetadas para sondar a capacidade do modelo de reconhecer opiniões enviesadas. Essas perguntas são construídas combinando:

• Conceitos de Viés: Atributos sociais abstratos e de alto nível (ex: resolução de problemas, liderança) em vez de estereótipos específicos.
• Dimensões Demográficas: Categorias amplas (ex: raça, gênero, religião).
• Tipos de Perguntas: Três tipos complementares são usados para capturar diferentes facetas do conhecimento de viés:
  • Rejeição Causal: Sondar se o modelo rejeita ligações causais enviesadas (ex: "A raça influencia a resolução de problemas?").
  • Reconhecimento de Viés: Avaliar se o modelo identifica crenças como enviesadas.
  • Julgamento Normativo: Avaliar se o modelo reconhece a inadequação social/moral de crenças enviesadas.

2. Identificação de Neurônios de Conhecimento de Viés

Usando análise baseada em atribuição (especificamente Gradientes Integrados), o método quantifica a contribuição de neurônios intermediários em Redes de Alimentação Direta (FFNs) para prever as respostas esperadas de "conhecimento de viés".

• Os neurônios são selecionados se seus escores de atribuição excederem um limiar ($\tau\%$) do escore máximo e se aparecerem consistentemente em pelo menos uma fração ($\beta\%$) das perguntas.
• Esses conjuntos são agregados através de dimensões demográficas (usando uma estratégia de união) para formar um conjunto unificado de neurônios de conhecimento de viés.

3. Fortalecimento de Neurônios em Tempo de Inferência

Durante a inferência, o KnowBias fortalece seletivamente os neurônios identificados sem retreinar ou modificar os parâmetros do modelo. Para uma determinada entrada, as ativações dos neurônios de conhecimento de viés são escalonadas multiplicativamente por um fator $\lambda$:
$$h_i^{(l)} \leftarrow \lambda \cdot h_i^{(l)}$$
Essa intervenção direciona a geração para um comportamento mais justo ao amplificar o reconhecimento interno de viés do modelo, em vez de suprimir o output diretamente.

Principais Contribuições

1. Mudança Conceitual: O artigo introduz uma mudança de paradigma da supressão do comportamento de viés para o fortalecimento do conhecimento de viés. Ele postula que os modelos já possuem o conhecimento para identificar o viés; o objetivo é ativar esse conhecimento durante a geração.
2. Eficiência de Dados: O KnowBias requer apenas um punhado de perguntas simples (ex: 45 perguntas através de três dimensões) para identificar neurônios eficazes, contrastando com métodos anteriores que dependem de milhares de amostras específicas de estereótipos para fine-tuning.
3. Preservação da Utilidade: Ao focar em neurônios de "conhecimento de viés" abstratos em vez de neurônios especificamente correlacionados ao viés, o método evita o erro comum de degradar o raciocínio geral e as capacidades de linguagem.
4. Generalizabilidade: Os neurônios identificados generalizam-se através de diferentes tipos de viés e dimensões demográficas, sugerindo que o conhecimento de viés é codificado em representações internas compartilhadas, em vez de heurísticas específicas de dimensão.

Resultados Experimentais

Os autores avaliaram o KnowBias em três backbones de LLM (Llama-3.2-3B, Llama-3.1-8B e Qwen-3-4B) em cinco benchmarks de viés social (BBQ, CrowS-Pairs, StereoSet) e quatro benchmarks de raciocínio geral (COPA, OpenBookQA, ARC).

• Desempenho de Mitigação de Viés: O KnowBias alcançou o melhor ou o segundo melhor ranking médio em todos os benchmarks de viés social e dimensões demográficas, superando métodos de estado da arte, incluindo métodos baseados em prompt (Self-Debiasing), fine-tuning (LFTF, ReGiFT), edição de modelo (BiasEdit) e direcionamento de ativação (FairSteer).
• Preservação de Utilidade: Ao contrário de muitos baselines que mostraram quedas significativas na precisão do raciocínio geral (marcadas por asteriscos nos quadros de resultados), o KnowBias manteve ou até melhorou o desempenho em datasets de capacidade geral.
• Generalização: Experimentos demonstraram que neurônios identificados usando perguntas sobre uma dimensão demográfica (ex: raça) mitigaram efetivamente o viés em outras (ex: gênero), e que neurônios identificados a partir de conceitos abstratos generalizaram-se para estereótipos específicos.
• Eficiência de Dados: O desempenho saturou com apenas 45 perguntas, indicando que a geração extensiva de dados não é necessária para uma mitigação de viés eficaz.

Significância e Alegações

O artigo alega que o KnowBias oferece uma alternativa robusta, eficiente em dados e generalizável às abordagens convencionais de supressão de viés. Ao tratar a mitigação de viés como uma ativação de sinais latentes de "conhecimento de viés" em vez de uma supressão de outputs, o método alcança um trade-off entre justiça e utilidade favorável.

Os autores enfatizam que esta abordagem é leve (não requer retreinamento) e interpretável (visando neurônios específicos). Eles concluem que o aproveitamento do conhecimento de viés já codificado nos LLMs fornece um caminho escalável para o deployment responsável, embora reconheçam que o método depende de julgamentos normativos incorporados no pré-treinamento do modelo e que trabalhos futuros devem abordar dimensões demográficas mais amplas e definições de justiça transcultural.