💬 NLP

Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning

Este artigo propõe um novo framework de ajuste fino que combina Calibração de Tokens de Direção com Alinhamento Semântico, utilizando uma função de objetivo híbrida baseada em Divergência KL e Otimização Kahneman-Tversky para superar as limitações de técnicas existentes e garantir que a geração de LLMs em múltiplas rodadas siga fielmente distribuições alvo desejadas.

Autores originais: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Publicado 2026-04-08

📖 5 min de leitura🧠 Leitura aprofundada

CC0 1.0

Autores originais: Yanbei Jiang, Amr Keleg, Ryandito Diandaru, Jey Han Lau, Lea Frermann, Biaoyan Fang, Fajri Koto

Artigo original dedicado ao domínio público sob CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um chef de cozinha muito talentoso (o Modelo de Linguagem ou LLM). Se você pedir a ele para cozinhar uma única vez, ele faz um prato incrível. Mas e se você pedir para ele cozinhar 100 vezes seguidas, sempre o mesmo prato (digamos, "uma história sobre uma enfermeira")?

O problema é que, se você não controlar nada, o chef pode acabar fazendo 90 vezes um prato com "enfermeira mulher" e apenas 10 vezes com "enfermeiro homem", mesmo que na vida real a proporção seja diferente ou que você queira uma divisão igualitária. O chef, sozinho, tende a seguir estereótipos ou padrões que ele aprendeu na internet, criando um viés de distribuição.

Este artigo apresenta uma solução inteligente para corrigir isso. Vamos explicar como funciona usando uma analogia simples:

1. O Problema: O Chef "Zonzo"

Atualmente, se você pedir para uma Inteligência Artificial (IA) gerar 100 histórias sobre enfermeiros, ela pode acabar gerando 99 mulheres e 1 homem, ou vice-versa, dependendo do que ela "acha" que é normal.

O erro: As IAs são ótimas em escrever uma história, mas péssimas em garantir que, ao somar 100 histórias, a proporção de gêneros, raças ou sentimentos seja justa ou fiel à realidade.
O teste: Os autores pediram para IAs escreverem 100 vezes sobre a mesma profissão. O resultado? A IA não conseguia controlar a "mistura" final. Ela tendia a reforçar estereótipos (ex: enfermeiras são quase sempre mulheres, engenheiros são quase sempre homens).

2. A Solução: O "GPS" e o "Bússola"

Os autores criaram um novo método de treinamento que funciona como um sistema de navegação duplo para o chef. Eles chamam isso de Ajuste de Tokens de Direção com Alinhamento Semântico.

Parece complicado, mas é assim que funciona na prática:

A. O "Token de Direção" (O GPS)

Antes de a IA começar a escrever a história, eles forçam a IA a escolher um "código secreto" (um token) que define a direção.

Imagine que a IA precisa escolher entre um botão "0" (Homem) ou "1" (Mulher) antes de começar a cozinhar.
O objetivo é treinar a IA para que, se você pedir 100 histórias, ela aperte o botão "0" 50 vezes e o botão "1" 50 vezes (ou na proporção que você desejar, como 90% homens e 10% mulheres, se for o caso real).
A mágica: Eles usam uma fórmula matemática (chamada KL Divergence) para garantir que a IA escolha esses botões exatamente na frequência que você pediu. É como dizer ao chef: "Você vai escolher o botão 'Mulher' 70 vezes e o botão 'Homem' 30 vezes, não importa o que você acha."

B. O "Alinhamento Semântico" (A Bússola)

Aqui está o pulo do gato: E se a IA escolher o botão "Homem", mas depois escrever uma história sobre uma mulher? Isso seria um erro.

Para evitar isso, eles usam uma segunda técnica (chamada KTO, baseada em como humanos tomam decisões) que garante que, se a IA escolheu o botão "Homem", a história que ela escrever tenha que ser sobre um homem.
É como se o chef, ao pegar o botão "Homem", fosse obrigado a usar ingredientes que só combinam com homens. Se ele tentar escrever sobre uma mulher, o sistema pune essa escolha.

3. O Resultado: O Prato Perfeito

Com esse treinamento duplo:

Controle Total: A IA consegue gerar 100 histórias e garantir que a proporção final seja exatamente a que você pediu (seja 50/50 ou 90/10).
Sem Alucinações: A história gerada corresponde ao botão escolhido. Não há confusão.
Melhor que os concorrentes: Eles testaram contra outros métodos (como apenas pedir na instrução "faça 50% homens") e o método deles funcionou muito melhor. Os outros métodos falhavam: ou a IA ignorava a instrução ou ficava "travada" em apenas um tipo de resposta.

Por que isso importa?

Imagine que você está criando um livro didático para crianças. Você quer que, ao longo de 100 histórias, meninos e meninas apareçam igualmente, para não reforçar ideias de que "meninas não jogam futebol" ou "meninos não cuidam de bebês".

Sem esse método, a IA poderia, sem querer, criar 80 histórias de meninos e 20 de meninas, perpetuando preconceitos.
Com esse método, você garante que a IA seja uma ferramenta justa e controlável, capaz de espelhar a realidade ou criar um mundo ideal, conforme sua necessidade.

Resumo em uma frase

Os autores ensinaram a IA a usar um "controle remoto" (o token de direção) para garantir que, ao gerar muitas histórias, a mistura final de personagens seja exatamente a que o usuário pediu, evitando que a IA fique presa em estereótipos ou viéses automáticos.

É como dar ao chef de cozinha uma receita exata de quantos ingredientes de cada tipo ele deve usar, garantindo que o banquete final seja equilibrado e justo.

Título: Controle de Viés Distribucional na Geração Multi-Ronda de LLMs via Ajuste Fino Otimizado por KL

1. O Problema: Viés Distribucional em Gerações Multi-Ronda

Embora o mundo real seja inerentemente estocástico (probabilístico), os Grandes Modelos de Linguagem (LLMs) são predominantemente avaliados em cenários de inferência de uma única rodada contra verdades fundamentais fixas. O artigo identifica uma lacuna crítica: quando um LLM é acionado repetidamente (multi-roda) com o mesmo prompt, ele frequentemente falha em gerar uma distribuição de saída que corresponda às estatísticas desejadas (sejam elas estatísticas do mundo real ou distribuições uniformes).

Definição de Viés Distribucional: É a diferença entre a distribuição observada das saídas do LLM após múltiplas gerações independentes e a distribuição alvo desejada.
Exemplo Prático: Se um usuário pedir "Escreva uma história sobre um enfermeiro no Reino Unido" 100 vezes, um modelo não ajustado pode gerar predominantemente enfermeiros do sexo feminino, reforçando estereótipos, mesmo que a realidade estatística ou o objetivo do usuário seja uma distribuição equilibrada (50/50) ou baseada em dados reais.
Limitação das Técnicas Atuais: Métodos padrão, como engenharia de prompts (explicita ou implícita) e técnicas de alinhamento como Direct Preference Optimization (DPO), falham em controlar essas distribuições. O DPO, por exemplo, tende a ser "buscador de modos" (mode-seeking), forçando o modelo a convergir para uma única resposta "ideal", em vez de manter uma distribuição variada e controlada.

2. Metodologia Proposta

Os autores propõem um novo framework de ajuste fino que combina Calibração de Tokens de Direcionamento (Steering Token Calibration) com Alinhamento Semântico. O objetivo é alinhar a distribuição de saída do modelo com uma distribuição alvo $P^*$ (definida pelo usuário ou por dados reais) para atributos sensíveis (gênero, raça, sentimento).

O framework opera em duas etapas principais:

A. Construção de Dados de Preferência Consciente de Distribuição

Geração da Base: Cria-se um conjunto de dados base onde a frequência dos atributos (ex: 99% masculino, 1% feminino) é estritamente controlada para refletir a distribuição alvo $P^*$ .
Formatação de Pares de Preferência: Transforma-se os dados em pares de resposta aceita ( $y_w$ $y_{w}$ ) e rejeitada ( $y_l$ $y_{l}$ ).
- Aceita: A resposta original precedida por um Token de Direcionamento ( $\tau$ ) correspondente ao atributo desejado.
- Rejeitada: Uma resposta precedida por um token de um atributo negativo (amostrado uniformemente dos outros atributos) para fornecer um sinal contrastante.

B. Função de Objetivo Híbrida (Dual-Objective)
O modelo é ajustado com uma função de perda combinada:

Perda de Calibração KL (Kullback-Leibler Divergence):
- Aplica-se uma perda KL diretamente nos logits dos tokens de direcionamento.
- Objetivo: Garantir que a probabilidade do modelo de gerar um token específico ( $\tau_i$ ) corresponda exatamente à distribuição alvo $P^*$ . Isso atua como um "controlador macro" da intenção demográfica.
Alinhamento Semântico via KTO (Kahneman-Tversky Optimization):
- Utiliza-se o KTO para garantir que a resposta textual subsequente seja semanticamente consistente com o token de direcionamento escolhido.
- Diferente do DPO, o KTO trata exemplos individuais como desejáveis ou indesejáveis, evitando a convergência prematura para um único modo e permitindo que o modelo mantenha a variabilidade necessária para a distribuição.
- Objetivo: Garantir que, se o token "Masculino" for escolhido, o texto gerado seja de fato sobre um homem, mantendo a coerência semântica.

C. Estratégia de Inferência
Durante a geração, o modelo segue um processo de dois passos:

Amostragem de Token: Amostra-se um token de direcionamento ( $\hat{\tau}$ ) baseado na distribuição aprendida.
Geração de Resposta: O token é anexado ao prompt e a resposta é gerada autoregressivamente.

3. Contribuições Principais

Identificação e Análise: Demonstração empírica de que LLMs prontos para uso (off-the-shelf) e técnicas de alinhamento padrão falham em controlar distribuições em gerações multi-roda, exacerbando viéses ou falhando em atingir distribuições uniformes.
Novo Framework de Ajuste Fino: Introdução de um método híbrido que acopla calibração de distribuição (KL) com consistência semântica (KTO), superando as limitações do DPO em cenários de controle distribucional.
Conjunto de Dados: Criação de conjuntos de dados de preferência conscientes de distribuição focados em ocupações no Reino Unido e EUA, cobrindo atributos de gênero, raça e sentimento.
Validação Robusta: Extensos experimentos mostrando que o método supera baselines (Zero-shot, Prompt Engineering, IFT, DPO) em diversas configurações de modelos (Qwen, Llama) e tamanhos.

4. Resultados Experimentais

Os experimentos foram realizados em seis conjuntos de dados (Gênero UK/US, Raça, Sentimento) e quatro modelos de linguagem.

Desempenho Superior: O método proposto alcançou consistentemente o menor Erro Absoluto Médio (MAE) em relação à distribuição alvo.
- No modelo Qwen2.5-7B, o MAE médio caiu de 0.135 (com Instruction Fine-Tuning - IFT) para 0.085 (método proposto), uma melhoria relativa de 37%.
- O DPO falhou catastroficamente em muitos cenários (MAE de 0.50 em configurações uniformes), indicando que o modelo convergiu para um único atributo em vez de uma distribuição.
Generalização: O método funcionou bem tanto para distribuições baseadas em estatísticas reais (ex: 96% homens em construção) quanto para distribuições uniformes (debiasing).
Geração de Histórias: Em tarefas de geração de histórias longas (onde atributos são implícitos), o método mostrou desempenho superior no controle de sentimento, embora o controle de gênero em narrativas longas permaneça desafiador devido aos priores internos do modelo.
Estabilidade: A abordagem demonstrou robustez frente a variações de hiperparâmetros de geração (Temperature, Top-p, Top-k) e não comprometeu as capacidades gerais do modelo (avaliado em benchmarks como MMLU e GSM8K).
Correlação Token-Resposta: Análise interna mostrou uma forte correlação linear entre a probabilidade do token de direcionamento e a frequência real do atributo na saída, confirmando que o modelo aprendeu a condicionar a geração ao token.

5. Significado e Implicações

Este trabalho é significativo porque muda o paradigma de avaliação de LLMs de "uma única resposta correta" para "distribuição de respostas correta".

Aplicabilidade Prática: Oferece uma solução viável para aplicações onde a estatística importa, como simulações de cenários, geração de dados sintéticos equilibrados ou personalização de conteúdo.
Ética e Viés: Permite que desenvolvedores escolham intencionalmente se desejam que o modelo reflita a realidade (com todos os seus desequilíbrios) ou se deseje impor uma distribuição justa e uniforme para fins de justiça algorítmica.
Limitações: O método ainda enfrenta desafios em tarefas de geração longa e complexa onde os priores do modelo são fortes. Além disso, a necessidade de tokens de direcionamento explícitos e ajuste fino pode limitar sua aplicação em ambientes de API fechada onde o acesso aos pesos do modelo não é permitido.

Em resumo, o artigo propõe uma solução técnica robusta para um problema fundamental na geração probabilística de IA: a capacidade de controlar não apenas o que o modelo diz, mas com que frequência ele diz coisas sobre certos grupos, garantindo alinhamento estatístico sem sacrificar a qualidade semântica.