Resumo Técnico: COFT (Counterfactual-Conformal Decoding for Fair Chain-of-Thought Reasoning)

1. Definição do Problema

Grandes Modelos de Linguagem (LLMs) treinados em corpora da web internalizam e, frequentemente, amplificam vieses sociais, particularmente durante a geração de Cadeia de Pensamento (Chain-of-Thought - CoT). Embora o output final de um modelo possa parecer neutro, os passos intermediários de raciocínio podem revelar associações prejudiciais token a token. As estratégias de mitigação existentes enfrentam limitações significativas:

• Métodos em tempo de treinamento (ex: fine-tuning, RLHF, curadoria de dados) são computacionalmente caros, exigem acesso aos pesos do modelo e correm o risco de degradar o desempenho em domínios gerais ou codificar vieses dos anotadores.
• Direcionamento em tempo de inferência (ex: uso de classificadores auxiliares ou ensembles de especialistas) introduz latência, depende dos pontos cegos de classificadores externos e carece de garantias estatísticas rigorosas.
• Debiasing no espaço de representação (ex: projeção de nulidade/nullspace projection) frequentemente aplica correções globais e agnósticas ao prompt, o que pode suprimir semânticas dependentes de contexto legítimas e falhar em capturar manifestações de viés não lineares.

Crucialmente, as abordagens atuais carecem de garantias estatísticas por passo no momento da decodificação. Elas não especificam quais tokens podem ser emitidos com segurança enquanto o risco de viés é mantido sob controle, nem impõem paridade contrafactual local (estabilidade do output sob mudanças hipotéticas em spans sensíveis no prompt) em cada passo de decodificação.

2. Metodologia: COFT

O COFT (Chain of Fair Thought) é um framework de decodificação livre de treinamento e operante apenas em inferência, projetado para impor equidade contrafactual para modelos de linguagem causais congelados. Ele opera em três estágios distintos:

Estágio I: Mascaramento Contrafactual

O COFT constrói uma versão "mascarada" do prompt de entrada, $\hat{p}$, substituindo spans sensíveis (ex: gênero, raça, identificadores religiosos) por tokens sentinelas neutros (ex: [MASK]).

• Implementação: O operador de mascaramento é determinístico e preserva o comprimento. Se um span sensível é tokenizado em $k$ tokens, ele é substituído por $k$ tokens sentinelas. Isso garante que os ramos factual e mascarado permaneçam perfeitamente alinhados em posição absoluta, permitindo comparações válidas de logits em prefixos autoregressivos idênticos.
• Execução de Duplo Ramo: O modelo $f_\theta$ é executado duas vezes em paralelo: uma no prompt factual $p$ e outra no prompt mascarado $\hat{p}$, condicionados ao mesmo prefixo gerado $w_{<t}$.

Estágio II: Fusão de Logits Contrafactual

Para atenuar vieses baseados em atributos, o COFT realiza uma interpolação convexa das distribuições de logits dos ramos factual ($z^F_t$) e mascarado ($z^{CF}_t$):
$$\tilde{z}_t = (1 - \lambda) z^F_t + \lambda z^{CF}_t$$
onde $\lambda \in [0, 1]$ é um parâmetro de fusão ajustável.

• Efeito: Esta operação cria uma mistura geométrica das duas distribuições de probabilidade. Teoricamente, ela interpola linearmente os log-odds entre os tokens, efetivamente "cegando" o modelo para atributos sensíveis enquanto preserva as regiões de alta probabilidade da distribuição. Esta fusão ocorre antes da certificação para garantir que o passo de filtragem subsequente opere sobre distribuições que já concordam em suas regiões de alta massa.

Estágio III: Filtragem Split-Conformal de Duplo Ramo

O COFT aplica um procedimento de predição split-conformal (CP) para certificar um conjunto de tokens candidatos em cada passo $t$.

• Score de Não Conformidade: Um score é definido para cada token $v$ baseado na probabilidade mínima que ele detém em ambas as distribuições fundidas (factual $\tilde{\pi}_t$ e mascarada $\pi^{CF}_t$):
  $$s_t(v) = 1 - \min\{ \tilde{\pi}_t(v), \pi^{CF}_t(v) \}$$
• Calibragem: Offline, em um conjunto de calibração disjunto, o quantil $(1-\alpha)$, $q_t$, desses scores é computado.
• Certificação: Em tempo de teste, um token é admitido ao conjunto de candidatos $C_t$ apenas se seu score estiver abaixo do limiar ($s_t(v) \le q_t$), o que é equivalente a exigir que o token tenha probabilidade suficiente em ambas as visões, factual e mascarada, simultaneamente.
• Amostragem: O token final é amostrado da distribuição fundida $\tilde{\pi}_t$ restrita ao conjunto certificado $C_t$. Se $C_t$ estiver vazio (um evento raro), utiliza-se um fallback determinístico (ex: argmax).

3. Principais Contribuições

1. Decodificação Justa Livre de Treinamento: O COFT fornece um mecanismo para impor equidade em LMs congelados sem retreinamento, acesso a gradientes ou classificadores auxiliares.
2. Garantias Marginais por Passo: Diferente de métodos anteriores, o COFT oferece garantias de validade marginal sem distribuição (sob a suposição de permutabilidade/exchangeability) para a estabilidade dos tokens emitidos. Ele certifica que o próximo token real está incluído no conjunto de candidatos com probabilidade de pelo menos $1-\alpha$.
3. Paridade Contrafactual Local: O método operacionaliza a equidade contrafactual ao nível do token, garantindo que o processo de decodificação permaneça estável quando atributos sensíveis no prompt são hipoteticamente alterados.
4. Arquitetura de Duplo Ramo: Ao fundir logits e exigir suporte conjunto de ambas as visões factual e mascarada, o COFT atenua efetivamente o viés enquanto preserva a utilidade da tarefa.

4. Resultados Experimentais

Os autores avaliaram o COFT em seis modelos (incluindo LLaMA-2, Mistral, Mixtral e Qwen2) e múltiplos benchmarks de viés (StereoSet, CrowS-Pairs, BBQ, BOLD, Utrecht, COMPAS), além de tarefas padrão de utilidade (GSM8K, StrategyQA, ARC-easy, PIQA).

• Mitigação de Viés: O COFT reduziu as métricas padrão de viés em 30–55% (mediana de 38%) em comparação com a decodificação vanilla e superou fortes baselines de tempo de inferência (ex: Self-Debiased Decoding, DExperts, Dual-Threshold Conformal Decoding). Por exemplo, no dataset BBQ, a redução de viés atingiu 34–41%.
• Preservação de Utilidade: A acurácia da tarefa em benchmarks de raciocínio e QA permaneceu inalterada dentro das margens de ruído de execução para execução (diferenças $\le 0,2$ pontos). Métricas de qualidade de linguagem (Perplexidade, MAUVE) foram indistinguíveis da decodificação vanilla.
• Eficiência: O overhead computacional é modesto, equivalente a uma passagem forward adicional com cache por passo. O throughput é reduzido em aproximadamente 10–25%, e o uso de memória de pico aumenta de forma insignificante ($\le 0,8$ GB).
• Ablações: Remover a fusão de logits resultou em maior viés residual, confirmando que a fusão é o principal mecanismo para atenuar os log-odds baseados em atributos. Remover o filtro conformal de duplo ramo resultou em uma perda das garantias de estabilidade contrafactual.

5. Significância e Alegações

O artigo posiciona o COFT como um caminho claro e auditável para uma geração de CoT mais segura. Sua principal significância reside em fornecer limites de segurança verificáveis para modelos congelados sem os custos computacionais proibitivos do retreinamento.

• Segurança Auditável: Ao fornecer garantias marginais por passo, o COFT permite que praticantes implantem modelos em domínios sensíveis (ex: saúde, jurídico, contratação) com uma medida quantificada de risco.
• Robustez: O método é robusto a mudanças de distribuição (com a cobertura degradando graciosamente com base nas razões de densidade) e mantém o desempenho através de diversas arquiteturas de modelo.
• Limitações: Os autores notam modestamente que intervenções algorítmicas não são uma panaceia. As garantias dependem da definição específica de atributos sensíveis e da suposição de permutabilidade entre os dados de calibração e de teste. Além disso, a decodificação de duplo ramo introduz latência de inferência, que deve ser pesada contra os benefícios da redução de viés. O método é mais apropriado para cenários onde o próprio traço de raciocínio deve ser auditável.

Em resumo, o COFT demonstra que é possível reduzir significativamente os vieses sociais nos traços de raciocínio de LLMs enquanto preserva a utilidade, utilizando um procedimento leve, livre de treinamento e fundamentado na teoria da predição conformal.