Resumo Técnico: FedCF: Predição Conformal Justa e Federada

Declaração do Problema

Modelos de aprendizado de máquina frequentemente exibem desempenho díspar entre diferentes subgrupos demográficos, levando a vieses que podem ser exacerbados em domínios críticos para a segurança, como saúde e finanças. Embora a Predição Conforme (CP - Conformal Prediction) forneça quantificação de incerteza rigorosa, agnóstica ao modelo e com garantias de cobertura de amostra finita, a CP padrão é agnóstica a atributos sensíveis e não garante a justiça (fairness). Métodos existentes de "Predição Conforme Justa" (CF - Conformal Fairness) abordam isso garantindo garantias de cobertura condicional entre subgrupos, mas dependem de acesso centralizado aos dados.

No Aprendizado Federado (FL - Federated Learning), os dados permanecem descentralizados para preservar a privacidade, tornando a aplicação da CF padrão impossível. Além disso, trabalhos recentes indicam que a mudança para o treinamento descentralizado preservador de privacidade pode, inadvertidamente, exacerbar a injustiça devido à heterogeneidade dos dados e às variações nas capacidades dos clientes. O desafio central é estender as garantias teóricas da CF para um cenário federado sem violar restrições de privacidade ou incorrer em um overhead de comunicação proibitivo, enquanto se lida com a natureza não-IID (não independente e identicamente distribuída) dos dados federados.

Metodologia

Os autores propõem o FedCF (Federated Conformal Fairness), um framework que adapta o framework de Conformal Fairness (CF) para o ambiente federado. A metodologia baseia-se em três pilares:

1. Reformulação de Otimização Baseada em Descida

O algoritmo CF original emprega uma busca em grade (grid search) sobre um espaço discretizado para encontrar o limiar $\lambda$ mínimo que satisfaça as restrições de justiça. Isso é ineficiente em FL devido ao alto custo das rodadas de comunicação. O FedCF reformula isso como um problema de otimização baseado em descida. Em vez de uma busca em grade, o algoritmo atualiza o limiar $\lambda$ de forma adaptativa usando uma regra de atualização baseada em momento. Isso permite que o sistema convirja para um $\lambda$ que satisfaça as restrições em significativamente menos rodadas de comunicação (demonstrado como um aumento de velocidade de ~10x em experimentos) enquanto escapa de mínimos locais via reinicializações aleatórias.

2. Formulação de Gap de Cobertura de Mistura de Clientes

Para lidar com dados descentralizados, o FedCF não pode estimar diretamente a cobertura condicional necessária para métricas de justiça. Os autores introduzem uma formalização de mistura de clientes baseada na suposição de trocabilidade parcial (partial exchangeability). Eles decompõem o nível de cobertura específico de justiça global ($\Pi_{cov}$) em quatro termos:

• Termos I & II: Computados localmente por cada cliente com base em seus dados de calibração e no par grupo-rótulo específico.
• Termo III: A probabilidade de um ponto de teste ser trocável com os dados de um cliente específico (ponderada pelo tamanho do cliente).
• Termo IV: A probabilidade global de o filtro de justiça estar ativo.

Ao derivar limites de intervalo (Teorema 3.1) para esses termos, o servidor pode agregar estatísticas locais para limitar o gap de cobertura global sem nunca ver os dados brutos dos clientes. O framework também oferece uma variante de Estimativa de Máxima Verossimilhança (MLE) para estimativas mais precisas, embora menos conservadoras, sob uma suposição de parcial-IID.

3. Protocolos de Agregação Flexíveis

O FedCF aborda o equilíbrio entre eficiência de comunicação e privacidade de dados através de dois protocolos:

• Eficiente em Comunicação: Os clientes enviam estatísticas resumidas (valores $\alpha$) para cada par grupo-rótulo. O servidor as agrega para computar os limites. Isso possui complexidade de comunicação linear em relação ao número de grupos.
• Privacidade Aprimorada: Os clientes computam diferenças de cobertura pareadas localmente antes de enviar ao servidor. Isso ofusca a informação de distribuição individual, prevenindo ataques de reconstrução, ao custo de uma complexidade de comunicação quadrática em relação ao número de grupos.
• Híbrido: Os clientes podem escolher entre os protocolos com base em suas restrições de recursos.

O framework também suporta Privacidade Diferencial (DP) adicionando ruído Gaussiano às atualizações dos clientes, garantindo robustez contra servidores maliciosos.

Principais Contribuições

1. Extensão da CF para FL: O artigo apresenta o primeiro framework que estende a Conformal Fairness para um ambiente federado, provando teoricamente que as garantias de cobertura condicional podem ser mantidas em um ambiente distribuído sob trocabilidade parcial.
2. Algoritmo Baseado em Descida: Uma abordagem de otimização inovadora que substitui a busca em grade por um método de descida adaptativo, reduzindo drasticamente o número de rodadas de comunicação necessárias para a convergência em FL.
3. Limites Teóricos: A derivação de limites de intervalo para níveis de cobertura específicos de justiça em um ambiente federado, fornecendo um método rigoroso para auditar gaps de justiça sem centralizar dados.
4. Trade-offs de Privacidade-Comunicação: A proposta de distintos protocolos de agregação (Eficiente em Comunicação, Privacidade Aprimorada e Híbrido) permitindo que os clientes equilibrem restrições de largura de banda com requisitos de privacidade.
5. Validação Empírica: Experimentos extensos em conjuntos de dados tabulares (ACSIncome, ACSEducation), de grafos (Pokec) e visão (Fitzpatrick) demonstram que o FedCF controla com sucesso disparidades de justiça (ex: Paridade Demográfica, Oportunidade Igualitária) enquanto mantém as garantias originais de cobertura da CP.

Resultados Experimentais

Os autores avaliaram o FedCF em múltiplos domínios e métricas de justiça:

• Controle de Justiça: O FedCF alcança consistentemente o critério de proximidade ($c$) especificado pelo usuário para a disparidade de justiça, enquanto o baseline de Predição Conforme Federada (FCP) sem restrições de justiça falha em controlar esses gaps.
• Eficiência vs. Justiça: Existe um trade-off inerente; impor uma justiça mais estrita (um $c$ menor) aumenta o tamanho do conjunto de predição (reduzindo a eficiência). No entanto, o FedCF minimiza esse custo em comparação aos baselines.
• Robustez à Heterogeneidade: O framework performa efetivamente através de diferentes números de clientes (2 a 48) e diferentes esquemas de partição de dados (divisões geográficas naturais vs. partições de Dirichlet).
• Dados de Grafos: O FedCF integra-se com sucesso a escores de não-conformidade específicos de grafos (DAPS), demonstrando aplicabilidade além dos dados tabulares padrão.
• Protocolos de Privacidade: Experimentos mostram que, embora o protocolo de Privacidade Aprimorada seja mais conservador (conjuntos de predição maiores) devido aos limites mais estreitos, ele controla efetivamente as disparidades de justiça enquanto protege os dados dos clientes.

Significância e Alegações

O artigo afirma que o FedCF fornece uma solução teoricamente fundamentada e praticamente viável para auditar e garantir a justiça em modelos de aprendizado de máquina federados. Sua significância reside em:

• Conformidade Regulatória: Oferecer um mecanismo para satisfazer regulamentações emergentes (ex: Lei de IA da UE, Lei Local 144 de NYC) que exigem auditorias de justiça em sistemas descentralizados sem comprometer a privacidade dos dados.
• ML Confiável (Trustworthy ML): Unir a quantificação de incerteza e a justiça, garantindo que os modelos não apenas predigam com limites de erro conhecidos, mas o façam de forma justa entre grupos sensíveis.
• Auditabilidade: O framework pode ser usado post-hoc para auditar modelos federados existentes, determinando se eles atendem às especificações de justiça sem exigir retreinamento ou acesso aos dados brutos.

Os autores reconhecem limitações, especificamente a dependência da suposição de trocabilidade parcial, que pode ser violada em cenários com desvio de dados (data drift) dinâmico. Eles sugerem trabalhos futuros envolvendo CP não-trocável e técnicas de aprendizado federado robustas para abordar esses cenários.