Implementing Causal Perception: Competing SCMs and Situated Fairness

Imagine que você está tentando resolver um mistério, como descobrir por que uma planta em seu quarto está murchando. Você poderia observar a luz solar, a água ou o solo. No mundo da Inteligência Artificial (IA), os cientistas usam mapas especiais chamados "Modelos Causais Estruturais" para fazer o mesmo. Esses mapas são como fluxogramas que mostem como diferentes coisas fazem com que outras coisas aconteçam. Por exemplo, um mapa pode mostrar que "baixa renda" causa um "score de crédito baixo". Mas aqui está a reviravolta: duas pessoas diferentes (ou programas de IA) podem olhar para a exata mesma planta e desenhar dois mapas completamente diferentes. Um pode pensar que o problema é o solo, enquanto o outro pensa que é a luz solar. Isso não é apenas um erro; é uma diferença em como eles veem o mundo. Essa ideia é crucial porque, quando pedimos à IA para tomar decisões justas — como quem recebe um empréstimo ou um emprego — essas decisões dependem inteiramente de qual mapa a IA está usando. Se os mapas discordam, a ideia de "justiça" pode mudar dependendo de quem está olhando.

Este artigo, escrito por José M. Álvarez, dá um grande passo da teoria para a realidade ao construir o primeiro programa de computador que pode realmente medir esses "mapas conflitantes". O autor chama esse fenômeno de "percepção causal". Pense nisso como dois amigos assistindo a um filme. Mesmo que vejam as mesmas cenas, eles podem interpretar as motivações dos personagens de forma diferente com base em suas próprias experiências de vida. No mundo da IA, isso significa que dois agentes (ou "receptores") podem olhar para o mesmo grupo de solicitantes de empréstimos e ver duas histórias diferentes sobre o motivo de alguns serem rejeitados. O artigo testa isso usando um conjunto de dados real de 1.000 solicitantes de empréstimos da Alemanha. Os pesquisadores criaram dois "oficiais de crédito" digitais que concordavam na maioria das coisas, mas discordavam de uma regra específica: se o gênero de uma pessoa afeta diretamente seu risco de crédito.

Os resultados foram reveladores. Mesmo que os dois oficiais discordassem em apenas uma conexão em seus mapas mentais, eles acabaram vendo o mundo de formas muito diferentes. Quando os pesquisadores mediram o quão distantes estavam suas visões, descobriram que os dois oficiais discordavam sobre cerca de 21,7% das decisões individuais de empréstimo. O artigo também destaca que tais desacordos podem levar a avaliações de justiça vastamente diferentes; por exemplo, em um cenário hipotético descrito na introdução, dois receptores divergindo em uma única aresta causal poderiam alcançar lacunas de paridade demográfica de -0,594 versus -0,170. O artigo também descobriu que a resposta para "eles estão vendo as coisas de forma diferente?" depende inteiramente de qual ferramenta de medição você usa. Se você usar um tipo de régua (uma métrica de distância chamada Wasserstein-2), eles podem parecer quase iguais. Mas se você usar uma régua diferente (como a divergência de Kullback-Leibler ou a Variação Total), a lacuna parece massiva.

Em última análise, o artigo mostra que o viés não é apenas um fato fixo flutuando no ar; ele é "situado", o que significa que depende da visão de mundo específica da pessoa ou da IA que está julgando. O autor argumenta que não podemos simplesmente ignorar essas visões de mundo conflitantes ou forçar todos a concordar com um único mapa "correto". Em vez disso, precisamos reconhecer que, em um mundo com múltiplos especialistas, pessoas diferentes perceberão a justiça de forma genuinamente diferente, e nossas ferramentas precisam estar prontas para lidar com esse desacordo, em vez de fingir que ele não existe.