💬 NLP

LoRA for Gender-Inclusive Rewriting and Activation Steering for Counter-Narrative Generation

Este artigo apresenta o sistema IHLC para a LT-EDI 2026 Shared Task, que combina o ajuste fino de LoRA para reescrita inclusiva de gênero e uma técnica de direcionamento de ativação computacionalmente eficiente usando direções principais derivadas de PCA para geração de contra-narrativa, alcançando pontuações elevadas ao mesmo tempo em que analisa limitações fundamentais como o desvio semântico e o vazamento de viés.

Autores originais: Akhil Rajeev P, Manoj Balaji J

Publicado 2026-07-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Akhil Rajeev P, Manoj Balaji J

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está conversando com um robô muito inteligente e muito bem informado, que leu quase todos os livros da internet. Este robô é ótimo para escrever histórias e responder perguntas, mas tem um problema: ele aprendeu com livros humanos e, às vezes, esses livros contêm ideias antigas e injustas sobre meninos e meninas. Se você pedir ao robô para escrever uma história sobre um "fireman" (bombeiro homem), ele pode insistir obstinadamente nessa palavra, mesmo que "firefighter" (bombeiro) seja melhor. Se você pedir para ele argumentar contra uma afirmação maldosa como "meninas são ruins em matemática", ele pode acidentalmente concordar com a ideia maldosa ou soar muito robótico. Este é o mundo da Inteligência Artificial (IA) e do Processamento de Linguagem Natural (PLN), onde cientistas tentam ensinar os computadores a falar de forma mais justa e inclusiva. O grande desafio é descobrir como ajustar o cérebro do robô para que ele escolha naturalmente palavras gentis e neutras sem ter que reconstruir todo o seu cérebro do zero.

Neste artigo, uma equipe de pesquisadores chamada IHLC tentou resolver esse problema para um concurso especial chamado LT-EDI 2026. Eles se concentraram em duas tarefas principais: primeiro, simplesmente reescrever frases enviesadas para torná-las justas (como mudar "fireman" para "firefighter"); e segundo, criar uma "contra-narrativa" — uma resposta educada e persuasiva a uma afirmação maldosa ou enviesada. Para a primeira tarefa, eles usaram um método padrão chamado LoRA, que é como dar ao robô uma pequena folha de dicas especializada para ajudá-lo a aprender novas regras rapidamente. Mas para a segunda tarefa, eles tentaram algo muito mais experimental e engenhoso chamado Activation Steering (Direcionamento por Ativação).

Pense no cérebro do robô como uma máquina gigante e complexa com milhares de engrenagens girando dentro dela. Normalmente, para mudar como a máquina funciona, você tem que desmontá-la e substituir as engrenagens (isso é chamado de "fine-tuning" ou ajuste fino). Mas os pesquisadores perguntaram: "E se pudéssemos apenas dar um empurrãozinho na máquina enquanto ela está funcionando?". Eles encontraram uma direção de "empurrão" específica comparando como o cérebro do robô reage a uma frase maldosa versus uma frase gentil. Eles calcularam a diferença entre essas duas reações e criaram um "vetor de direção" — imagine como uma força magnética que empurra os pensamentos do robô em direção à gentileza e à inclusividade. Eles injetaram essa força no cérebro do robô enquanto ele escrevia, sem alterar nenhuma de suas engrenagens originais.

Os resultados foram uma mistura de sucesso e falhas interessantes. Para a tarefa simples de reescrita, o sistema deles foi muito bem, pontuando 80,00% e ficando em 3º lugar entre 9 equipes. Para a tarefa mais difícil de escrever contra-narrativas, eles pontuaram 78,12% e ficaram em 6º lugar entre 7 equipes. O sistema foi ótimo em ser educado e entender o contexto, mas às vezes ficava um pouco animado demais com o "empurrão". Quando eles empurravam a direção com muita força, o robô começava a se repetir, fundindo palavras (como "exhibitimpulsiveness"), ou se desviava do significado original para dar um longo sermão em vez de uma resposta direta.

Os pesquisadores descobriram que, embora este método de "empurrão" seja uma maneira poderosa e eficiente de tornar a IA mais inclusiva, não é perfeito. Às vezes, ele deixa para trás pequenos fragmentos do viés original, ou altera tanto a frase que ela perde seu sabor original. Eles sugerem que, no futuro, podem precisar combinar esse "empurrão" com outras ferramentas para manter as respostas do robô tanto justas quanto fiéis à pergunta original. É um passo promissor para tornar a IA um interlocutor mais gentil, mas mostra que, mesmo com um empurrão suave, o robô ainda precisa de orientação cuidadosa para acertar em cheio.

Resumo Técnico: IHLC na LT-EDI 2026

Definição do Problema
O artigo aborda o desafio de gerar linguagem inclusiva de gênero e contra-narrativas para declarações enviesadas, um objetivo central da tarefa compartilhada LT-EDI 2026. A tarefa é dividida em duas subtarefas: (A) reescrever sentenças de gênero ou enviesadas em variantes neutras de gênero preservando o significado, e (B) gerar contra-narrativas empáticas e persuasivas para declarações abertamente enviesadas. Os autores observam que, embora o ajuste fino (fine-tuning) padrão seja eficaz, há uma necessidade de métodos computacionalmente eficientes para ajustar o comportamento do modelo sem atualizações de pesos dispendiosas, particularmente para a geração de contra-narrativas, onde equilibrar polidez, coerência e correção factual é complexo.

Metodologia
A submissão IHLC emprega estratégias distintas para as duas subtarefas, utilizando o modelo Gemma-3-4B-it como base.

Subtarefa A (Reescrita Inclusiva de Gênero): A equipe utilizou o ajuste fino padrão de Adaptação de Baixo Posto (LoRA). Esta abordagem envolveu o treinamento do modelo em conjuntos de dados paralelos de pares de sentenças de gênero e neutras para aprender o mapeamento direto entre terminologias enviesadas e inclusivas.
Subtarefa B (Geração de Contra-Narrativa): A principal contribuição deste artigo é uma abordagem de direcionamento de ativação (activation-steering) computacionalmente eficiente combinada com prompting restrito.
- Direcionamento de Ativação (Activation Steering): Baseando-se em protocolos de engenharia de representação (Zou et al., 2023; Turner et al., 2023), os autores derivaram uma direção de direcionamento realizando a Análise de Componentes Principais (PCA) nos vetores de diferença das ativações ocultas entre sentenças enviesadas e seus contrafactuais neutros. Este vetor de direcionamento foi injetado em uma camada intermediária específica (Camada 16) do modelo durante a inferência via um hook de forward. A força de injeção foi controlada por um coeficiente $\alpha$ .
- Engenharia de Prompt: Para garantir que a saída atendesse aos critérios de avaliação, o sistema empregou dois templates de prompt: um "prompt DEI" para saídas explicativas flexíveis e um "prompt Strict" para saídas determinísticas de linha única para evitar penalizações por juízes automatizados.
- Decodificação: O sistema utilizou uma mistura de decodificação gulosa (greedy decoding) e amostragem de baixa temperatura com penalidades de repetição para mitigar a degeneração de texto e loops, que foram observados quando os coeficientes de direcionamento eram muito altos.

Resultos Principais
O sistema foi avaliado usando um framework híbrido envolvendo um LLM-como-juiz e supervisão humana.

Subtarefa A: A abordagem baseada em LoRA alcançou uma pontuação média de 80,00%, classificando-se em 3º lugar entre as 9 equipes participantes. A pontuação foi consistente entre Remoção de Suposição de Gênero (GA), Neutralidade de Gênero (GN) e Qualidade e Relevância (QR).
Subtarefa B: O método de direcionamento de ativação alcançou uma pontuação média de 78,12%, classificando-se em 6º lugar entre os 7 participantes.
- Pontos Fortes: O sistema destacou-se em Polidez e Respeitosidade (PR: 84,89%) e Coerência de Contra-Narrativa Contextual (CCNC: 84,79%).
- Pontos Fracos: A pontuação de Qualidade e Relevância (QR) foi significativamente inferior (64,68%), indicando problemas com a preservação semântica.

Análise de Modo de Falha
Através da avaliação manual de 47 saídas, os autores identificaram cinco modos de falha primários inerentes à abordagem de direcionamento de ativação:

Troca (Trade-off) Fidelidade–Edição (53%): O modelo frequentemente substituía estruturas de sentenças originais de forma rígida (ex: recorrendo ao padrão "Pessoas de todas as identidades de gênero..." em vez de fazer edições mínimas), alterando o domínio semântico (ex: mudando "ciência" para "campos de STEM").
Sensibilidade/Emaranhamento Específico de Camada (23%): O direcionamento em uma única camada falhou em neutralizar conceitos de forma limpa, frequentemente transformando traços negativos em conceitos relacionados, mas ainda enviesados (ex: "ingênuo" tornando-se "inocência e vulnerabilidade").
Vazamento de Viés Residual (11%): Como o direcionamento dependia das representações dos tokens finais, o viés codificado em tokens de contexto anteriores às vezes persistia, levando à neutralização do sujeito, mas à retenção da premissa prejudicial.
Instabilidade de Sobre-Direcionamento (9%): Coeficientes de direcionamento elevados fizeram com que o modelo abandonasse totalmente a estrutura sintática da entrada, mudando para comentários sociais generalizados em vez de contra-narrativas específicas.
Repetição e Degeneração (4%): Perturbações fortes ocasionalmente interromperam as fronteiras de tokens, causando palavras fundidas ou textos em loop.

Significância e Alegações
O artigo posiciona seu trabalho como uma demonstração tanto da promessa quanto das limitações do direcionamento de ativação para a geração inclusiva de gênero.

Promessa: O método gera com sucesso contra-narrativas educadas e conscientes do contexto sem o custo computacional do ajuste fino total, alcançando resultados competitivos em métricas de equidade (PR e CCNC).
Limitações: Os autores alegam modestamente que, embora o direcionamento de ativação seja uma alternativa viável às atualizações de peso, ele atualmente luta com a preservação semântica (QR) e requer ajuste preciso para evitar instabilidade. Eles observam que o direcionamento de camada única corre o risco de vazamento de viés residual e que a abordagem é atualmente limitada ao inglês, restringindo a generalização cultural.
Direção Futura: Os autores sugerem que melhorias futuras exigem a integração de restrições de preservação semântica (como perda contrastiva), calibração de direção com humano no ciclo (human-in-the-loop) e extensão para trilhas multilíngues.

O artigo conclui que, embora o direcionamento de ativação ofereça um mecanismo leve para mitigação de viés, ele ainda não é um substituto completo para métodos de atualização de peso como o Fine-tuning de Instrução, particularmente quando é necessária alta fidelidade à estrutura do texto original.

Resumo Técnico: IHLC na LT-EDI 2026

Mais como este