Resumo Técnico: Ação Coletiva em Tempo de Teste (TTCA)

Declaração do Problema

Sistemas de aprendizado de máquina frequentemente exibem disparidades de desempenho entre subgrupos de usuários, resultando em danos de "qualidade de serviço" (QoS), onde grupos específicos experimentam sistematicamente menor precisão do que outros. Embora existam intervenções de equidade centradas no provedor (pré-, intra- e pós-processamento), elas dependem da vontade e da capacidade da plataforma de re-treinar modelos. Em cenários onde a remediação está indisponível, atrasada ou a plataforma se recusa a agir, os usuários afetados carecem de alavancas externas para corrigir essas disparidades.

Os existentes frameworks de "Ação Coletiva Algorítmica" (ACA) permitem que usuários orientem algoritmos contribuindo com dados, mas esses mecanismos tipicamente exigem que a plataforma re-treine sobre os dados modificados pelo coletivo — uma condição que os usuários raramente controlam. Além disso, intervenções no estilo de envenenamento de dados podem ser contornadas se os provedores aguardarem atualizações robustas do modelo ou treinarem sobre dados pré-ataque. Consequentemente, há uma necessidade de uma intervenção do lado do usuário que opere em tempo de teste sobre um modelo de caixa preta congelado, sem exigir cooperação da plataforma ou acesso ao loop de treinamento.

Metodologia: Ação Coletiva em Tempo de Teste (TTCA)

Os autores propõem o TTCA, um framework que permite a um grupo coordenado de usuários corrigir danos algorítmicos agrupando o acesso de consultas a uma API de caixa preta. O mecanismo opera em duas fases:

Fase 1: Extração de Proxy Coletiva e Otimização de Perturbação

1. Agrupamento de Consultas: Um coletivo de $n$ usuários, cada um com um orçamento de consultas $B$, agrega seus recursos para consultar o modelo da plataforma $f_{plat}$ em um pool público e não rotulado de imagens $D_{pub}$. Isso gera um conjunto de dados $D_{proxy}$ de pares entrada-saída $(x, f_{plat}(x))$.
2. Treinamento de Proxy: O coletivo treina um modelo substituto (proxy) $f_{proxy}$ em $D_{proxy}$ usando o método KnockoffNets. Para melhorar a transferibilidade, um ensemble de $K=5$ proxies é treinado com sementes aleatórias independentes.
3. Otimização de Perturbação: Para cada classe $y$ no subgrupo mal atendido $G$, o coletivo otimiza uma perturbação universal por classe $\delta_y$. O objetivo é minimizar a perda de entropia cruzada do ensemble de proxies para entradas pertencentes à classe $y$, sujeito a um orçamento $\ell_\infty$ ($\|\delta_y\|_\infty \le \epsilon$). A otimização visa a classe verdadeira, efetivamente "empurrando" entradas mal classificadas em direção à fronteira de decisão correta. Um regularizador de variação total e um desfoque gaussiano são aplicados para enviesar a perturbação para componentes de baixa frequência, aumentando a transferibilidade para caixa preta.

Fase 2: Aplicação em Tempo de Teste

No momento da inferência, membros do subgrupo mal atendido aplicam a perturbação pré-calculada $\delta_y$ às suas entradas $x$ antes do envio. Se a entrada de um usuário pertencer à classe $y \in G$, eles submetem $x' = \text{clip}(x + \delta_y, 0, 1)$; caso contrário, submetem $x$ inalterado. Este processo não requer interação adicional com a plataforma além do orçamento de consultas inicial usado para construir o proxy.

Principais Contribuições

1. Mecanismo Corretivo em Tempo de Teste: O TTCA introduz um framework onde usuários podem corrigir disparidades em um modelo congelado de caixa preta sem re-treinar a plataforma. Ele reaproveita a lógica de ataques de evasão (perturbações adversariais universais) para um propósito corretivo, e não malicioso.
2. Eficiência Baseada em Proxy: Ao extrair um proxy coletivo e otimizar uma perturbação universal reutilizável, o método amortiza o custo da intervenção em todo o subgrupo.
3. Transferência Cross-Arquitetura: O mecanismo demonstra que um modelo proxy menor (por exemplo, ResNet-18) pode gerar efetivamente perturbações que transferem para arquiteturas de plataforma maiores e desconhecidas (por exemplo, ResNet-50, RegNet-Y).
4. Análise de Eficiência de Custos: O artigo fornece uma análise rigorosa mostrando que agrupar consultas é significativamente mais barato do que ataques individuais por imagem, mesmo com tamanhos coletivos pequenos.

Resultados Experimentais

Os autores avaliam o TTCA em CIFAR-10, CIFAR-100 e FairFace (para equidade demográfica) sob regimes de treinamento da plataforma tanto balanceados quanto deliberadamente desbalanceados.

• Precisão do Subgrupo: O TTCA melhora significativamente a precisão do subgrupo mal atendido (definido como os 10% inferiores de grupos) com orçamentos de consultas muito baixos. Por exemplo, no CIFAR-100, um coletivo de apenas 5–6 usuários agrupando consultas pode alcançar precisão de subgrupo comparável ou superior a atacantes individuais, enquanto usa ordens de magnitude menos consultas totais.
• Eficiência do Orçamento de Consultas:
  • Linha de Base Individual: Usuários individuais atacando sozinhos usando SimBA (um ataque de caixa preta por imagem) requerem até 308× mais consultas totais à plataforma para alcançar precisão de subgrupo comparável.
  • Ponto de Equilíbrio: Um coletivo de apenas 5 a 10 membros é suficiente para tornar o agrupamento mais custo-efetivo do que a intervenção individual.
  • Compensação de Teto: Embora ataques individuais possam alcançar maior precisão máxima (por exemplo, 97,9% no CIFAR-100) otimizando por imagem, eles o fazem a um custo agregado massivo (2,3 milhões de consultas para 1.000 usuários). A abordagem coletiva satura em um teto de precisão mais baixo (83%), mas alcança isso com um custo fixo e reutilizável (~23.000 consultas), tornando-a muito mais eficiente para grandes grupos.
• Métricas de Equidade: A intervenção melhora métricas padrão de equidade de grupo, incluindo Precisão do Pior Grupo (WGA), Lacuna de Igualdade de Oportunidade (EOD) e Impacto Dispar (DI), sem degradar o desempenho para outros grupos.
• Fidelidade do Proxy: Proxies de alta fidelidade não são estritamente necessários; uma vez que um proxy seja "fiel o suficiente" (por exemplo, 60–90% de fidelidade), consultas adicionais produzem retornos decrescentes na precisão do subgrupo.

Significado e Alegações

O artigo posiciona o TTCA como uma intervenção corretiva para usuários enfrentando danos de QoS quando a remediação do lado da plataforma está indisponível. Seu significado reside em:

• Agência: Oferece aos usuários uma alavanca externa para recuperar agência sobre sistemas algorítmicos sem necessidade de acesso aos internals do modelo ou dados de treinamento.
• Escalabilidade: Demonstra que ação coordenada de pequena escala de usuários pode mitigar efetivamente disparidades sistêmicas através do agrupamento de recursos.
• Complementaridade: Atua como uma abordagem complementar aos frameworks ACA existentes, abordando especificamente a lacuna de "tempo de teste" onde os modelos já estão implantados e imutáveis.

Os autores observam que esta abordagem é mais eficaz quando a tarefa subjacente é amplamente útil, mas executada de forma desigual. Eles reconhecem limitações: se a tarefa em si for prejudicial (por exemplo, reconhecimento automatizado de gênero causando danos representacionais), a estrutura corretiva do TTCA pode ser insuficiente, e os usuários podem precisar recorrer à recusa ou contestação em vez de otimização. Adicionalmente, o método assume um modelo de caixa preta estático; defesas do lado da plataforma (por exemplo, suavização aleatória) poderiam potencialmente mitigar a eficácia dessas perturbações, embora tais defesas também possam degradar a precisão geral da plataforma.