Fairness Evaluation and Inference Level Mitigation in LLMs

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) frequentemente exibem comportamentos indesejáveis, como viés, inconsistência e amplificação de conteúdo prejudicial, que se manifestam através de suas representações internas. Embora métodos de treinamento (como Fine-Tuning supervisionado e RLHF) tentem mitigar esses efeitos, eles são computacionalmente caros, irreversíveis após a implantação e lentos para se adaptar a novos contextos conversacionais.

O problema central identificado pelos autores é que a maioria das abordagens de mitigação em tempo de inferência (como prompt engineering ou poda estática de neurônios) é estática e focada em interações de rota única (single-turn). Em diálogos de múltiplas voltas (multi-turn), o viés tende a se acumular gradualmente através de priming, anáforas e "memória" do diálogo. Métodos estáticos que removem neurônios permanentemente causam perda semântica e degradação da coerência, pois os mesmos neurônios que ativam viés em certos contextos podem ser essenciais para informações factuais ou semânticas em outros.

2. Metodologia: Supressão Dinâmica de Neurônios

Os autores propõem um framework de inferência chamado Dynamic Neuron Suppression (Supressão Dinâmica de Neurônios). Diferente da poda tradicional, esta abordagem é reversível, adaptativa e baseada em contexto. O processo opera em quatro estágios principais (ilustrados na Figura 3 do artigo):

1. Detecção Comportamental (Behavioral Detection):

   • Calcula uma pontuação de viés ($S_t$) para cada turno do diálogo usando avaliadores baseados em LLM (GPT-3.5 e Claude) para identificar quando o comportamento enviesado emerge na saída do modelo.

2. Identificação de Neurônios de Viés (Bias Neuron Identification):

   • Utiliza Integrated Gradients para atribuir a pontuação de viés ($S_t$) às ativações internas dos neurônios.
   • Decompõe a importância dos neurônios em dois componentes:
     • $m_{local}$: Relevância no turno atual.
     • $m_{carry}$: Influência persistente de voltas anteriores (memória).
   • Isso permite distinguir entre viés transitório e viés propagado pela memória do diálogo.

3. Teste Baseado em Conceitos (Concept-Based Testing):

   • Introduz uma Sonda de Consistência de Memória (Memory Consistency Probe).
   • Testa se os neurônios identificados preservam conceitos enviesados ao longo do tempo ou se "esqueceram" do conhecimento útil. Isso evita a supressão de neurônios que são apenas temporariamente ativos devido ao contexto, mas essenciais para a coerência geral.

4. Mascaramento Dinâmico de Neurônios (Dynamic Neuron Masking):

   • Em vez de remover neurônios permanentemente, o framework aplica um gating (portão) adaptativo durante a geração.
   • Um coeficiente de portão $g_l^{(t)} = \sigma(\alpha S_t + \beta C_t)$ modula a influência dos neurônios de alto viés em tempo real.
   • Se o viés for detectado, os neurônios são atenuados; se o contexto mudar e o viés desaparecer, os neurônios são restaurados, preservando a capacidade total do modelo.

3. Principais Contribuições

• Novo Paradigma de Mitigação: Propõe o primeiro framework que trata o viés como um fenômeno dinâmico e acumulativo em diálogos de múltiplas voltas, em vez de uma propriedade estática de saída única.
• Reversibilidade e Eficiência: A solução não requer re-treinamento, alteração da arquitetura do modelo ou poda irreversível. É uma intervenção leve em tempo de inferência.
• Avaliação Multilíngue e Multivolta: Introduz uma avaliação rigorosa em datasets multilíngues (PCT em línguas paquistanesas como Urdu, Punjabi, Sindhi, etc.) e benchmarks de múltiplas voltas (FairMT-Bench, F2Bench), focando em estereótipos e toxicidade.
• Separação de Viés Local vs. Memória: Desenvolveu diagnósticos para separar viés local (do turno atual) de viés carregado pela memória, permitindo intervenções mais precisas.

4. Resultados

Os experimentos foram conduzidos em modelos como Mistral-7B e DeepSeek-7B, comparando o método proposto com baselines como Prompt Engineering, filtragem de logits, vetores de direção (steering vectors) e poda estática de neurônios.

• Redução de Viés: O método de Mascaramento Dinâmico reduziu consistentemente as pontuações de viés em todos os idiomas e tarefas avaliados, superando significativamente os métodos estáticos. Por exemplo, no dataset PCT, reduziu o viés de ~75% para ~31% (Mistral) e ~65% para ~21% (DeepSeek) em cenários desafiadores.
• Preservação de Utilidade: Ao contrário da poda estática, que degradava a coerência e a relevância das respostas, o método dinâmico manteve a fluência, a fidelidade factual e a relevância contextual.
• Mitigação de Acúmulo em Múltiplas Voltas: Em diálogos longos, o método demonstrou capacidade de impedir que o viés se acumulasse ou se propagasse através das voltas do diálogo, mantendo a estabilidade do modelo.
• Custo Computacional: O overhead adicional é mínimo (~1.3 ms por turno), tornando a solução viável para implantação em tempo real.

5. Significado

Este trabalho estabelece um novo padrão para a governança de LLMs em cenários conversacionais reais. Ele demonstra que a segurança e a justiça não precisam ser alcançadas apenas através de re-treinamento massivo ou censura estática. Ao tratar o viés como um processo dinâmico dependente do contexto e da memória, o framework permite:

• Controle de Justiça em Tempo Real: Adaptação contínua às nuances do diálogo sem perder a capacidade do modelo.
• Escalabilidade: Uma solução leve que pode ser aplicada a diversos modelos decoder-only sem modificação de parâmetros.
• Compreensão Mecanística: Oferece insights sobre como o viés se propaga através das ativações neuronais e da memória do modelo, validando a hipótese de que neurônios específicos são responsáveis por comportamentos enviesados apenas em contextos específicos.

Em suma, o artigo oferece uma solução prática e eficiente para um dos maiores desafios atuais na implantação de IA conversacional: manter a neutralidade e a segurança em interações longas e complexas sem sacrificar a qualidade e a utilidade da resposta.