FairQuant: Fairness-Aware Mixed-Precision Quantization for Medical Image Classification

O artigo apresenta o FairQuant, um framework de quantização de precisão mista que otimiza simultaneamente a eficiência e a justiça algorítmica em modelos de classificação de imagens médicas, demonstrando resultados superiores em desempenho e equidade em comparação com abordagens tradicionais sob orçamentos de bits restritos.

O essencial

Imagine que você tem um hospital muito inteligente, cheio de médicos robôs (redes neurais) que ajudam a diagnosticar doenças de pele olhando para fotos. Esses robôs são incrivelmente precisos, mas são gigantes: ocupam muito espaço na memória, consomem muita energia e demoram para pensar. Para colocá-los em celulares ou em clínicas pequenas, precisamos "comprimir" esses robôs, tornando-os menores e mais rápidos.

A técnica comum para isso é a Quantização. Pense nela como trocar uma biblioteca de livros com páginas cheias de detalhes (números de alta precisão) por um resumo rápido (números de baixa precisão).

O problema é que, ao fazer esse resumo rápido, os robôs muitas vezes começam a cometer erros graves com certos grupos de pessoas (por exemplo, pessoas com pele mais escura), mesmo que a média geral de acertos pareça boa. É como se o robô fosse ótimo diagnosticando pele clara, mas quase cego para pele escura.

É aqui que entra o FairQuant, o "herói" deste artigo.

O Que é o FairQuant? (A Analogia do Orçamento de Pintura)

Imagine que você é um pintor e tem um orçamento limitado de tinta (bits de precisão). Você precisa pintar um mural gigante (a rede neural) que representa todos os pacientes.

1. O Problema das Técnicas Antigas:
   As técnicas antigas diziam: "Vamos usar a mesma quantidade de tinta em todo o mural".

   • Se você usar pouca tinta (4 bits) em tudo, o mural fica borrado e feio, especialmente nas áreas delicadas.
   • Se usar muita tinta (8 bits) em tudo, o mural fica lindo, mas gasta todo o seu orçamento e o mural fica pesado demais para carregar.

2. A Solução do FairQuant:
   O FairQuant é um pintor muito esperto e justo. Ele não trata todas as partes do mural da mesma forma.

   • Análise de Importância: Antes de pintar, ele olha para o mural e pergunta: "Quem precisa de mais detalhes?". Ele descobre que certas áreas (que representam pacientes de pele escura, por exemplo) são críticas e não podem ficar borradas.
   • Alocação Inteligente: Ele decide: "Vou usar tinta de alta qualidade (8 bits) apenas nas áreas onde os pacientes de pele escura são mais vulneráveis, e posso usar tinta mais simples (4 bits) nas áreas onde o risco é menor".
   • O Resultado: O mural inteiro fica leve o suficiente para ser carregado (economiza espaço), mas as partes mais importantes para a justiça permanecem nítidas. Ninguém fica com um diagnóstico ruim por causa da economia de tinta.

Como Funciona na Prática?

O FairQuant faz isso em duas etapas principais, como se fosse um processo de treinamento:

1. O "Mapa de Calor" (Análise de Importância):
   O sistema testa o robô com um grupo pequeno de pacientes de diferentes tipos de pele. Ele observa onde o robô hesita ou erra mais. Se o robô erra mais com pele escura, o sistema marca essas partes da "mente" do robô como críticas.

2. O "Orçamento Flexível" (Alocação de Bits):
   Em vez de forçar o robô a usar 4 bits ou 8 bits em tudo, o FairQuant permite que ele escolha. Ele usa uma técnica chamada BAQ (Quantização Consciente de Bits).

   • Pense no BAQ como um aluno que aprende a estudar de forma eficiente. Ele decide: "Vou gastar mais tempo estudando (mais bits) nos capítulos difíceis e menos nos fáceis".
   • Durante o treinamento, o sistema ajusta automaticamente onde colocar a "precisão" para garantir que o robô não deixe ninguém para trás, mantendo o orçamento total de memória baixo.

O Que Eles Descobriram?

Os pesquisadores testaram isso em dois grandes bancos de dados de fotos de pele (Fitzpatrick17k e ISIC2019) usando vários tipos de robôs (ResNet e Transformers).

• O Cenário Ruim: Quando usaram a técnica antiga de "tudo 4 bits", alguns robôs entraram em colapso. A precisão geral caiu e, pior, a precisão para os grupos minoritários (pele escura) ficou quase zero.
• O Cenário FairQuant: Com o FairQuant, mesmo usando uma média de apenas 4 a 6 bits (muito menos que os 8 bits padrão), os robôs:
  • Mantiveram uma precisão geral quase tão boa quanto os modelos gigantes originais.
  • Melhoraram drasticamente a precisão para os grupos que sofriam mais com os erros.
  • Garantiram que o "pior caso" (o paciente que mais precisa de ajuda) não fosse esquecido.

Resumo em Uma Frase

O FairQuant é como um gerente de recursos que, ao reduzir o tamanho de um médico robô, garante que ele não perca a capacidade de cuidar bem dos pacientes mais vulneráveis, distribuindo a "precisão" de forma inteligente e justa, em vez de cortar custos de forma igualitária em todos os lugares.

Isso significa que, no futuro, poderemos ter ferramentas de diagnóstico médico em celulares baratos que são rápidas, econômicas e, o mais importante, justas para todos, independentemente da cor da pele ou do gênero.

Resumo técnico

Resumo Técnico: FairQuant

1. O Problema

A compressão de redes neurais via quantização (redução da precisão dos parâmetros de ponto flutuante para inteiros de baixa precisão) é essencial para a implantação eficiente de modelos de IA em ambientes clínicos, onde há restrições de latência, memória e energia. No entanto, as técnicas atuais de quantização (como Quantization-Aware Training - QAT e Post-Training Quantization - PTQ) focam quase exclusivamente em manter a precisão média do modelo.

O artigo identifica uma lacuna crítica: essas técnicas ignoram o impacto na justiça algorítmica (fairness). Em aplicações médicas, como a classificação de imagens dermatológicas, é imperativo que o modelo seja confiável para todos os subgrupos populacionais (ex.: diferentes tipos de pele ou sexos). Modelos quantizados uniformemente para baixas precisões (ex.: 4 bits) podem apresentar uma queda drástica no desempenho para grupos minoritários ou sub-representados, mesmo mantendo uma precisão média aceitável. O desafio é encontrar um método de quantização de precisão mista que respeite um orçamento de bits estrito, mas que também otimize a justiça entre os grupos.

2. Metodologia: O Framework FairQuant

O FairQuant é um framework que combina análise de importância sensível a grupos com alocação de precisão mista orçada e um modo de quantização aprendível. O processo ocorre em duas etapas principais:

A. Análise de Importância Sensível a Grupos (Calibração):

• O modelo é congelado e passa por um conjunto de calibração.
• Calcula-se um mapa de importância para cada grupo sensível (ex.: pele clara vs. escura) utilizando uma aproximação de primeira ordem da expansão de Taylor da perda do grupo.
• Esses mapas são agregados para criar um único mapa de importância que reflete tanto a sensibilidade geral quanto a disparidade entre os grupos.

B. Alocação de Precisão Mista Orçada:

• Um algoritmo mapeia os scores de importância para larguras de bits discretas (ex.: 2, 4, 8, 16 bits) sob um orçamento global de bits fixo.
• Isso gera um padrão estático de alocação que pode ser usado como inicialização (warm start) para o treinamento.

C. Quantização Consciente de Bits (BAQ - Bit-Aware Quantization):

• Esta é a inovação central. O FairQuant trata as larguras de bits de cada unidade do modelo (escopo) como variáveis aprendíveis.
• Utiliza-se um logit contínuo que é mapeado para um proxy de bits contínuo (via função tanh) e depois arredondado.
• O treinamento minimiza uma função de perda composta por três termos:
  1. Perda da Tarefa ($L_{task}$): Precisão padrão de classificação.
  2. Perda de Justiça ($L_{fair}$): Penaliza a diferença entre a perda do grupo com maior erro e o grupo com menor erro (maximizando a justiça).
  3. Regularizador de Taxa de Bits ($L_{baq,b}$): Penaliza o uso excessivo de bits, empurrando os proxies de bits para o limite inferior ($b_{min}$), garantindo que o modelo atenda ao orçamento de bits.

3. Principais Contribuições

• Framework FairQuant: Uma abordagem unificada que integra análise de importância baseada em grupos, alocação de orçamento e otimização conjunta de pesos e alocação de bits.
• Mecanismo BAQ: Introdução de larguras de bits como parâmetros treináveis, permitindo que o modelo "aprenda" onde alocar mais ou menos bits para equilibrar precisão e justiça, em vez de depender apenas de regras heurísticas estáticas.
• Regularização de Justiça Explícita: Incorporação direta de uma penalidade de disparidade de grupos na função de perda durante o processo de quantização.
• Validação Robusta: Avaliação em múltiplas arquiteturas (ResNet18/50, DeiT-Tiny, TinyViT) e dois conjuntos de dados dermatológicos de referência (Fitzpatrick17k e ISIC2019).

4. Resultados Experimentais

Os experimentos compararam o FairQuant (nas variantes QAT estática e BAQ aprendível) contra modelos de precisão completa (FP32), quantização uniforme de 8 bits (U8) e 4 bits (U4), e métodos anteriores de FairGRAPE.

• Desempenho em Baixas Precisão (4-6 bits):
  • A quantização uniforme de 4 bits (U4) frequentemente falha catastróficamente em certos backbones (ex.: TinyViT no Fitzpatrick17k caiu para 3% de precisão média) ou degrada severamente a precisão do "pior grupo" (worst-group accuracy).
  • O FairQuant (FQ-BAQ) recuperou grande parte da precisão do modelo de 8 bits (U8) e da precisão completa (FP32) operando em uma média de 4 a 6 bits.
• Justiça e Robustez:
  • Em todos os cenários testados, o FairQuant melhorou significativamente a precisão do pior grupo em comparação com a quantização uniforme de 4 bits, mantendo métricas de justiça (como Equalized Odds Gap) comparáveis ou melhores sob o mesmo orçamento de bits.
  • No conjunto de dados ISIC2019, o FairQuant evitou o colapso de desempenho observado no U4, mantendo a precisão média acima de 80% enquanto reduzia a disparidade entre grupos.
• Estabilidade:
  • Abordagens de ablação mostraram que o método é estável em relação a diferentes sementes aleatórias e não requer um ajuste fino extremamente rigoroso dos hiperparâmetros (como a taxa de aprendizado dos proxies de bits), desde que se mantenha em uma faixa baixa.

5. Significado e Conclusão

O trabalho demonstra que a alocação de precisão não é apenas um detalhe técnico de eficiência, mas uma alavanca crucial para a equidade em IA médica. O FairQuant oferece um caminho prático para implantar modelos comprimidos em dispositivos com recursos limitados (edge computing) sem sacrificar a confiabilidade para grupos minoritários.

Ao transformar a alocação de bits em um problema de otimização guiado por justiça, o método permite que modelos médicos operem em regimes de baixa precisão (4-6 bits) com uma confiabilidade que antes só era possível com modelos de 8 bits ou precisão completa. Isso é fundamental para a democratização de ferramentas de diagnóstico assistido por IA em ambientes clínicos diversos e com restrições de hardware.