💬 NLP

GGSS: Geodesic-Gated Spherical Steering for Inference-Time Debiasing of Generative Vision-Language Models

O artigo introduz o GGSS, uma intervenção de inferência preservadora de norma que direciona os tokens visuais ao longo de arcos geodésicos em uma hiperesfera unitária para reduzir efetivamente o viés demográfico em modelos generativos de visão-linguagem, enquanto mantém suas capacidades fundamentais de visão-linguagem.

Autores originais: Yiqun Sun, Junyu Chen, Pengfei Wei, Lawrence B. Hsieh

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yiqun Sun, Junyu Chen, Pengfei Wei, Lawrence B. Hsieh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Sistemas de inteligência artificial que podem ver e falar estão se tornando assistentes comuns em nossas vidas diárias, ajudando a triar currículos, responder perguntas e interpretar imagens médicas. Esses sistemas, conhecidos como modelos de visão-linguagem, aprendem estudando milhões de imagens e as descrições de texto que as acompanham. No entanto, como aprendem a partir de dados criados por humanos, eles frequentemente absorvem os mesmos estereótipos injustos que nós mantemos sobre raça, gênero e ocupação. Um computador pode olhar para a foto de uma pessoa e, baseando-se apenas na sua raça ou gênero percebidos, adivinhar um salário ou título de emprego diferente do que faria para outra pessoa, mesmo que os detalhes visuais sejam idênticos. Este é um problema sério para a tecnologia usada em decisões de alto risco, mas corrigi-lo é difícil. Tradicionalmente, para remover esses vieses, os desenvolvedores tinham que retreinar todo o enorme modelo computacional do zero, um processo que exige um poder computacional e tempo imensos. Além disso, muitos métodos existentes projetados para corrigir o viés foram construídos para tipos mais antigos de IA que processam uma imagem como um resumo único, em vez dos sistemas modernos que decompõem uma imagem em milhares de pequenos pedaços para entendê-la.

Uma equipe de pesquisadores desenvolveu agora uma nova maneira de corrigir esses vieses sem retreinar o modelo. Eles chamam seu método de GGSS, que significa Direcionamento Esférico com Portão Geodésico (Geodesic-Gated Spherical Steering). Em vez de reconstruir a IA, eles inserem um ajuste pequeno e leve que funciona enquanto o modelo está pensando. Imagine o entendimento interno de uma imagem pela IA como uma coleção de direções apontando para diferentes conceitos. Quando a IA vê um rosto, algumas dessas direções apontam para a identidade da pessoa, enquanto outras apontam para seu trabalho ou histórico. Os pesquisadores descobriram que o viés da IA em relação à raça ou gênero está concentrado em um conjunto específico dessas direções, enquanto o restante das informações permanece neutro. O objetivo deles era gentilmente afastar as direções enviesadas do estereótipo sem perturbar as informações úteis sobre a aparência real da pessoa ou o contexto da imagem.

Os pesquisadores testaram seu método em quatro modelos diferentes de visão-linguagem modernos. Primeiro, mostraram aos modelos uma série de imagens cuidadosamente controladas onde apenas a raça ou o gênero percebidos da pessoa mudavam, enquanto tudo o mais, como roupas, pose e fundo, permanecia exatamente o mesmo. Ao observar como os sinais internos do modelo mudavam quando apenas a ração ou o gênero mudavam, eles mapearam o "caminho de viés" específico que o modelo percorre. Eles então criaram um processo de duas etapas para corrigir isso durante o uso normal. A primeira etapa envolve identificar quais partes específicas da imagem disparam o viés. Nem todas as partes de uma imagem são igualmente enviesadas; por exemplo, um rosto pode carregar um sinal forte de raça, enquanto o fundo ou os sapatos da pessoa carregam quase nenhum. O novo método usa um filtro inteligente para focar suas correções apenas nas partes da imagem que realmente carregam o viés, deixando as partes neutras sozinhas.

A segunda etapa é como a correção acontece. Métodos mais antigos tentavam simplesmente subtrair o viés, como apagar uma linha em um desenho. Os pesquisadores descobriram que essa subtração "rígida" muitas vezes distorcia o significado da imagem, fazendo com que a IA perdesse sua capacidade de entender a foto corretamente. Em vez disso, eles usaram uma técnica que move a informação ao longo de um caminho curvo, semelhante a como um avião voa a rota mais curta entre duas cidades seguindo a curva da Terra, em vez de uma linha reta através do solo. Isso permite que a IA rotacione seu entendimento para longe do estereótipo, mantendo a forma geral e a força de sua percepção intactas. Ao combinar esse movimento curvo com o filtro inteligente que visa apenas as partes enviesadas, o sistema pode reduzir a injustiça sem quebrar a inteligência geral do modelo.

Os resultados de seus testes foram claros e significativos. Quando aplicaram este método aos quatro modelos de IA diferentes, reduziram o viés nas respostas dos modelos por uma margem grande. Em alguns casos, a lacuna injusta na forma como os modelos julgavam salários ou ocupações caiu mais de 90 por cento. Crucialmente, os modelos não perderam sua capacidade de realizar outras tarefas. Os pesquisadores verificaram o conhecimento geral e as habilidades de raciocínio dos modelos usando um teste padrão de 1.500 perguntas cobrindo ciência, matemática e lógica. Os modelos que receberam a correção de viés performaram tão bem quanto os modelos originais não corrigidos, com sua precisão mudando em menos de um ponto percentual. Isso provou que é possível tornar esses sistemas mais justos sem torná-los mais burros.

O estudo também mostrou que esta abordagem é mais confiável do que tentativas anteriores. Quando tentaram usar métodos mais antigos e simples que não utilizavam o caminho curvo ou o filtro inteligente, os modelos frequentemente ficavam confusos ou falhavam em responder às perguntas corretamente. Os pesquisadores descobriram que o caminho curvo era especialmente importante para os modelos maiores e mais complexos, onde correções simples faziam o sistema falhar completamente. Eles também demonstraram que o método é flexível; ao ajustar a força com que a correção é aplicada, os usuários podem escolher reduzir o viés significativamente, permitindo ainda que o modelo reconheça detalhes demográficos se uma tarefa específica exigir, como em documentação médica.

Este trabalho oferece uma ferramenta prática para tornar a inteligência artificial mais equitativa. Ele mostra que não precisamos descartar e reconstruir nossos sistemas de IA mais avançados para corrigir seus preconceitos. Em vez disso, um ajuste direcionado e cuidadoso feito enquanto o sistema está em execução pode remover estereótipos injustos enquanto preserva a capacidade do modelo de ver e entender o mundo. Os pesquisadores disponibilizaram seu código para que outros possam testar e usar esta abordagem, fornecendo um novo caminho para o implante de sistemas de IA que sejam tanto poderosos quanto justos.

Resumo Técnico: GGSS – Direcionamento Esférico com Portão Geodésico para Mitigação de Viés em Tempo de Inferência

Declaração do Problema

Modelos de Visão-Linguagem (VLMs) generativos são cada vez mais implantados em contextos de tomada de decisão centrados no ser humano e de alto risco, mas frequentemente produzem saídas sistematicamente enviesadas em relação a atributos demográficos como raça e gênero, mesmo quando o conteúdo visual é controlado. Embora os métodos existentes de mitigação de viés em tempo de inferência (ex: INLP, R-LACE, LEACE) tenham sido eficazes para embeddings estáticos ou dual-encoders tipo CLIP, eles são inadequados para os modernos VLMs generativos. Esses modelos codificam imagens como sequências de tokens visuais fundidos com um modelo de linguagem do tipo decoder-only. Aplicar técnicas tradicionais de mitigação de viés a essa arquitetura apresenta três desafios específicos:

Preservação da Geometria: A subtração euclidiana de direções de viés distorce as normas e direções dos tokens, levando a quedas acentuadas na qualidade geral e modos de falha de "direcionamento excessivo" (over-steering), particularmente conforme a escala do modelo aumenta.
Heterogeneidade de Viés ao Nível de Token: Sinais demográficos estão concentrados em uma pequena fração de tokens visuais (ex: rosto ou vestimenta), enquanto outros codificam pose ou plano de fundo. A projeção de subespaço uniforme sobrecorrige tokens não enviesados, degradando o desempenho da tarefa.
Rigidez de Direção Única: Muitos métodos assumem um atributo protegido binário e uma única direção de viés, enquanto atributos como raça possuem estruturas de múltiplas classes que exigem o tratamento de subespaços de baixa dimensão.

Metodologia: Estrutura GGSS

Os autores propõem o GGSS (Geodesic-Gated Spherical Steering), uma estrutura de intervenção que preserva a norma e opera em dois estágios: descoberta offline e inferência online.

1. Descoberta Offline (Estimativa de Subespaço de Viés Contrafactual)
Usando um VLM congelado e um conjunto de imagens contrafatuais (variando atributos demográficos enquanto mantém outros fatores fixos), o método estima a geometria do viés:

Representantes Esféricos: As ativações visuais são agrupadas (pooled) e normalizadas para a hiperesfera unitária ( $S^{D-1}$ ).
Estimativa de Subespaço: Para cada contexto, a média de Fréchet é computada e os deslocamentos no espaço tangente entre as médias dos grupos são calculados. A Decomposição de Valor Singular (SVD) é aplicada a esses deslocamentos para identificar um subespaço de viés multidimensional ( $V_{bias}$ ).
Calibração do Portão (Gate): A magnitude da projeção desses representantes no subespaço de viés é medida para estabelecer uma distribuição de normas de viés. Isso gera estatísticas (mediana $\tilde{b}$ e desvio padrão $\sigma_b$ ) usadas para calibrar o portão adaptativo.

2. Inferência Online (Direcionamento Geodésico ao Nível de Token)
Durante a inferência, o GGSS intervém na camada de projeção visão-para-linguagem:

Projeção: Cada token visual é mapeado para o espaço tangente em um ponto de referência global ( $\mu$ ). A componente do token que reside dentro do subespaço de viés aprendido é projetada para fora, deixando uma componente "limpa".
Portão Adaptativo: Um portão por token ( $g_i$ ) é computado com base na magnitude de viés do token em relação às estatísticas de descoberta. Tokens com baixos sinais de viés recebem pouco ou nenhum direcionamento, enquanto tokens com fortes sinais demográficos são direcionados de forma mais agressiva.
Atualização Geodésica: Em vez de subtração Euclidiana, o método utiliza Interpolação Linear Esférica (Slerp) para rotacionar a direção do token ao longo de um arco geodésico a partir de sua posição original em direção à direção alvo mitigada. Isso garante que a norma do token seja preservada exatamente.
Restauração da Norma: A norma original do token é restaurada antes de passar as ativações direcionadas para o decodificador de linguagem.

Principais Contribuições

Identificação de Limitações: O artigo demonstra que operadores de mitigação de viés rígidos e uniformes por token apresentam desempenho inferior em VLMs generativos devido à distorção geométrica e falta de seletividade.
Alternativa Geodésica Preservadora de Norma: O GGSS introduz uma estrutura que substitui o direcionamento Euclidiano pela geometria esférica, preservando as normas dos tokens e evitando a degradação de qualidade associada ao direcionamento excessivo.
Portão Adaptativo: Um portão de inferência é introduzido que atribui forças de direcionamento por token com base na distribuição de normas de viés observada durante a descoberta, eliminando a necessidade de treinamento adicional.
Benchmarking Unificado: Os autores portaram dez mitigadores representativos das eras CLIP e de modelos de linguagem para a mesma camada de intervenção de VLM generativo, criando um conjunto de comparação unificado.

Resultados Experimentais

Os autores avaliaram o GGSS em quatro VLMs generativos (Pixtral-12B, LLaVA-1.6-Vicuna-7B, LLaVA-1.6-Mistral-7B e Qwen3-VL-4B) contra dez linhas de base adaptadas e mitigação baseada em prompts.

Redução de Viés: O GGSS alcançou o menor viés médio em todos os quatro modelos. Produziu reduções significativas de viés, com melhorias por tarefa de até 96% (classificação Enfermeiro/Médico), 84% (salário em MCQ) e 61% (renda em 2AFC). Significância estatística foi observada em três dos quatro backbones.
Preservação de Capacidade: Crucialmente, o GGSS preservou as capacidades de raciocínio multimodal geral. No benchmark MMStar, o GGSS manteve a precisão dentro de $\pm 0,6$ pontos percentuais da linha de base não direcionada. Em contraste, várias linhas de base (ex: spherical BendVLM) causaram quedas significativas na capacidade geral ou colapso total da geração.
Estudos de Ablação: As ablações de componentes confirmaram que a combinação do direcionamento esférico (Slerp) e o portão adaptativo é responsável pela robustez e seletividade do método. Especificamente, descobriu-se que o direcionamento esférico é decisivo para a robustez em escalas maiores (12B), enquanto o portão fornece a seletividade necessária.

Significância e Alegações

O artigo afirma que, para VLMs generativos, o direcionamento geodésico adaptativo é um primitivo superior para a mitigação de viés em tempo de inferência comparado à projeção uniforme rígida. A significância reside em demonstrar que o viés pode ser reduzido efetivamente sem o retreinamento do modelo ou o sacrifício de suas capacidades de raciocínio geral.

Os autores mantêm uma postura modesta quanto à implementação:

Não é uma Panaceia: O GGSS reduz o viés medido, mas não remove o conhecimento enviesado dos parâmetros do modelo nem garante a equidade sob mudanças de distribuição.
Compromissos (Trade-offs): A força de direcionamento ( $\alpha$ ) controla o equilíbrio entre a redução do viés e a retenção de informações demográficas. Em forças altas, o método remove efetivamente o atributo, o que pode ser indesejável para tarefas que exigem reconhecimento demográfico (ex: documentação clínica).
Uso Dual: O mecanismo pode ser usado para amplificar o viés tão facilmente quanto para reduzi-lo.
Escopo: A avaliação é limitada à percepção de raça e gênero em configurações condicionadas por imagem; a generalização para outros atributos, idiomas ou domínios não foi estabelecida.

O trabalho conclui que as ablações de portão correspondentes atribuem a robustez em escala ao direcionamento no plano esférico e a controlabilidade ao portão, apoiando o direcionamento geodésico adaptativo como uma intervenção prática e leve para a mitigação de viés em tempo de inferência em VLMs generativos congelados.