Resumo Técnico: Justiça Procedural em Bandidos de Múltiplos Agentes

Declaração do Problema

Em Bandidos de Múltiplos Braços com Múltiplos Agentes (MA-MAB), a justiça é tradicionalmente definida através de métricas baseadas em resultados, como maximizar o bem-estar utilitário, minimizar a desigualdade ou otimizar o Bem-Estar Social de Nash (NSW). Essas abordagens focam nos resultados agregados das decisões (por exemplo, utilidade total ou distribuição de recompensas). No entanto, os autores argumentam que essa perspectiva negligencia a justiça procedural: o princípio de que a justiça é inerente ao próprio processo de tomada de decisão, especificamente no que diz respeito à igualdade de voz e representação.

A literatura existente frequentemente trata a justiça como um critério externo imposto ao sistema (consequencialismo), ignorando a agência dos participantes. Em contraste, a justiça procedural postula que uma decisão é legítima apenas se não puder ser razoavelmente rejeitada por aqueles a quem ela se submete, exigindo que cada agente tenha uma parcela igual de influência sobre a política, independentemente de essa influência levar ou não ao seu resultado ideal.

Metodologia

Formalização da Justiça Procedural

O artigo introduz uma definição formal de justiça procedural para MA-MABs baseada na igualdade de representação dentro de uma política.

• Parcela de Decisão: Para um agente $i$, a parcela de decisão $\beta_i(P)$ é a massa de probabilidade total atribuída aos seus braços favoritos (aqueles com a maior média de recompensa $\mu^*_{i,k}$).
• Definição de Justiça Procedural: Uma política $P$ é proceduralmente justa se a distribuição de probabilidade sobre os braços puder ser decomposta em $N$ parcelas iguais ($1/N$), onde a parcela de cada agente é alocada exclusivamente aos seus braços favoritos.
• Pontuação de Justiça Procedural (PF): Os autores formulam um problema de otimização para medir o quão próxima uma determinada política está de ser proceduralmente justa. A pontuação representa a fração máxima da parcela de decisão de $1/N$ que pode ser alocada aos braços favoritos de cada agente sem violar as restrições de probabilidade total da política. Uma pontuação de 1 indica justiça procedural perfeita.

Abordagem Algorítmica

Para aprender uma política proceduralmente justa em um ambiente online onde as médias de recompensa são desconhecidas:

1. Objetivo: Os autores maximizam o Bem-Estar de Nash Baseado em Parcela de Decisão ($NW_\beta$), definido como o produto das parcelas de decisão dos agentes: $\prod_{i=1}^N \beta_i(P)$.
2. Garantia Teórica: Eles provam (Teorema 1) que a maximização de $NW_\beta$ gera uma política que é proceduralmente justa (ou seja, ela reside no Núcleo Procedural).
3. Algoritmo de Aprendizado (Algoritmo 1):
   • Utiliza limites de concentração do tipo Upper Confidence Bound (UCB) para estimar os conjuntos de braços favoritos ($\hat{F}_i$).
   • Incorpora um mecanismo de exploração randomized (puxando um braço aleatório com probabilidade $t^{-(1-\gamma)}$) para garantir que todos os braços sejam amostrados suficientemente para reduzir os intervalos de confiança e recuperar os verdadeiros conjuntos favoritos.
   • Em cada etapa, o algoritmo resolve a otimização $NW_\beta$ sobre os conjuntos favoritos estimados para determinar a política $P_t$.
4. Análise de Regret: O artigo define o Regret de Justiça Procedural ($R_{PF}$) com base no número de rodadas em que os conjuntos favoritos estimados não coincidem com os conjuntos verdadeiros. Eles provam um limite de regret sublinear de $O(K + T^\gamma/\gamma + (\dots)^{1/\gamma})$, mostrando que o algoritmo converge para uma política proceduralmente justa.

Principais Contribuições

1. Definição Formal: Uma definição rigorosa de justiça procedural para MA-MABs, distinguindo representação (voz) de qualidade do resultado (utilidade).
2. Resultados de Impossibilidade: O artigo prova que a justiça procedural é fundamentalmente incompatível com noções de justiça baseadas em resultados.
   • Proposição 2 & 3: Existem estruturas de recompensa onde nenhuma política pode simultaneamente alcançar a justiça procedural perfeita e a minimização perfeita da desigualdade ou o utilitarismo perfeito.
   • Teorema 6: Políticas ótimas para o bem-estar de Nash baseado em utilidade e políticas proceduralmente justas não garantem dominar uma à outra no sentido de Pareto; elas priorizam valores diferentes e, muitas vezes, conflitantes.
3. Estabilidade do Núcleo: Os autores estabelecem que políticas que maximizam o bem-estar de Nash baseado em parcela de decisão residem no Núcleo Procedural. Isso significa que nenhuma coalizão de agentes pode usar sua proporção de poder de decisão para melhorar a representação de todos os membros (com pelo menos uma melhoria estrita), garantindo estabilidade contra desvios baseados em voz.
4. Algoritmo e Limites de Regret: Um algoritmo para aprender políticas proceduralmente justas com garantias de regret sublinear, garantindo que as vozes dos agentes sejam representadas conforme o sistema aprende.

Resultados Empíricos

Os autores avaliaram sua abordagem contra benchmarks baseados em resultados (Utilitarismo, Minimização de Desigualdade, Bem-Estar Igualitário, Bem-Estar Social de Nash e Índice de Gini Generalizado) através de:

• Dados Sintéticos: 7.776 instâncias variando agentes, braços e distribuições de preferência (Uniforme, Unimodal, Cultura Imparcial, Mallows).
• Dados do Mundo Real: Um conjunto de dados do Mechanical Turk (PrefLib) com 50 votantes e 4 candidatos.

Descobertas:

• Trade-offs: Políticas otimizadas para métricas baseadas em resultados (Utilitarismo, NSW) alcançaram consistentemente baixas pontuações de justiça procedural (frequentemente < 0,8), indicando que otimizar para resultados não preserva inadvertidamente a igualdade de voz.
• Equilíbrio: A política proceduralmente justa alcançou uma pontuação de justiça procedural perfeita (1,0) enquanto mantinha pontuações altas em minimização de desigualdade e utilitarismo (frequentemente > 0,9), demonstrando um equilíbrio superior entre todas as três dimensões.
• Robustez: À medida que o desacordo entre agentes aumentava (por exemplo, em modelos Mallows com alta dispersão), a justiça procedural das políticas baseadas em resultados erodiava significativamente, enquanto a política proceduralmente justa mantinha suas garantias de representação.
• Convergência: No experimento do mundo real, o algoritmo de aprendizado convergiu para uma política que mantinha alta igualdade e utilidade enquanto garantia representação igual, superando todos os outros benchmarks no métrica procedural.

Significância e Alegações

O artigo argumenta que a legitimidade procedural é um objetivo distinto e necessário em sistemas multiagentes, separado de eficiência ou igualdade.

• Escolha Normativa: Os autores enfatizam que a justiça não é uma única solução matemática, mas um conjunto de valores concorrentes. Escolher um objetivo de justiça é uma decisão normativa: priorizar a eficiência (Utilitarismo) implica inerentemente sacrificar a igualdade de voz, enquanto priorizar a justiça procedural aceita potenciais ineficiências para garantir a legitimidade.
• Legitimidade sobre Otimização: Baseando-se na filosofia política (Rawls, Scanlon) e na psicologia (Lind & Tyler), o artigo afirma que os sistemas são mais propensos a serem percebidos como legítimos e aceitos pelos agentes se respeitarem a "dignidade da participação".
• Princípio de Design: A justiça procedural é apresentada não apenas como um conceito teórico, mas como um princípio de design prático que gera sistemas que são estáveis (estáveis no núcleo), robustos e reflexivos dos valores humanos em relação à justiça como "igualdade de voz".

O artigo conclui que, embora as métricas baseadas em resultados sejam elegantes e tratáveis, elas impõem valores de fora. A justiça procedural desloca o foco para "quais preferências moldaram a decisão", oferecendo um framework para construir sistemas multiagentes que não são apenas inteligentes, mas também legítimos.