Auditable machine learning for high-stakes decisions

No mundo moderno, algoritmos tomam decisões que moldam vidas. Eles decidem quem recebe um empréstimo, quem recebe liberdade condicional, quem é contratado para um emprego e quais pacientes recebem cuidados médicos urgentes. Durante anos, a forma padrão de entender essas decisões tem sido perguntar quais fatores elevaram ou reduziram a probabilidade. Se uma pessoa teve um empréstimo negado, uma explicação poderia dizer que sua renda era muito baixa ou que sua dívida era muito alta. Mas essa abordagem trata cada fator como um ponto em uma escala deslizante, onde uma pontuação alta em uma área pode simplesmente cancelar uma pontuação baixa em outra. Essa lógica de "compensação total" funciona bem para classificar anúncios, mas falha quando leis e regulamentos estão envolvidos. No mundo real da governança, algumas condições são portões absolutos. Um documento ausente, um registro criminal ou uma contraindicação médica específica podem vetar uma decisão inteira, não importa o quão forte seja a outra evidência. Inversamente, uma combinação específica de fatos pode ser suficiente para garantir uma aprovação, independentemente de outras fraquezas. Até agora, modelos de aprendizado de máquina lutavam para falar essa linguagem de requisitos absolutos e gatilhos suficientes, oferecendo frequentemente apenas histórias vagas sobre o que influenciou um resultado, em vez de certificar o próprio resultado.

Um novo estudo apresenta um sistema projetado especificamente para lidar com essas decisões de alto risco e auditáveis. Os pesquisadores desenvolveram um modelo chamado rede de lógica bipolar, que opera sobre uma ideia simples, mas poderosa: que muitas decisões do mundo real são construídas a partir de dois tipos distintos de regras trabalhando juntas. O primeiro tipo identifica o que é suficiente para disparar um resultado, como um conjunto de condições que, se atendidas, garantem um resultado positivo. O segundo tipo identifica o que é necessário, atuando como um conjunto de portões que devem ser atravessados para que qualquer resultado positivo ocorra. Se uma condição necessária estiver faltando, a decisão é vetada imediatamente, assim como uma chave ausente não pode ser substituída por uma carteira maior. O sistema aprende esses dois conjuntos de regras simultaneamente a partir dos dados, combinando-os em uma única previsão. Diferente de outros modelos que tentam explicar uma decisão de "caixa-preta" após o fato, este sistema constrói a decisão e sua explicação como o mesmo objeto. A previsão é a regra, e a regra é a previsão.

Os pesquisadores testaram essa abordagem em trinta conjuntos de dados do mundo real diferentes, abrangendo áreas desde pontuação de crédito e justiça criminal até diagnóstico médico e retenção de funcionários. Eles compararam seu novo sistema com dez outros métodos populares de aprendagem de máquina, incluindo modelos complexos de "caixa-preta" conhecidos pela alta precisão, mas baixa transparência, e modelos mais simples de "caixa-branca", que são transparentes, mas frequentemente menos precisos. Os resultados mostraram que o novo sistema alcançou um nível de precisão estatisticamente equivalente aos melhores modelos de caixa-preta nas tarefas específicas onde regras auditáveis são importantes. Ele teve um desempenho superior aos tradicionais modelos de árvore de decisão e outros sistemas baseados em regras e, embora fosse ligeiramente menos preciso que um modelo específico transparente chamado modelo aditivo, ofereceu algo que esse modelo não podia: uma estrutura booleana clara que afirma explicitamente o que é requerido e o que é suficiente. No domínio específico de tarefas de decisão de auditoria, o sistema igualou o desempenho do poderoso XGBoost, um padrão na indústria, enquanto fornecia um caminho lógico claro e verificável.

Além da precisão bruta, o estudo focou em saber se o sistema poderia realmente responder às perguntas difíceis que reguladores e auditores fazem. Podemos provar que uma condição específica era necessária? Podemos encontrar um caminho para aprovação que contorne uma regra? O sistema demonstrou capacidade de recuperar condições necessárias com alta precisão, superando métodos existentes usados em ciências sociais e epidemiologia para este propósito específico. Em testes envolvendo cenários de políticas sintéticas, o sistema cometeu pouquíssimos erros ao vetar casos que deveriam ter sido permitidos, mantendo as rejeições falsas abaixo de meio por cento. Quando aplicado a dados reais, como registros de rotatividade de funcionários, o sistema identificou com sucesso fatores de "higiene" — condições como renda ou cargo que, se ausentes, atuam como um veto — separando-os de fatores "motivadores" que poderiam disparar um resultado positivo. Essa distinção reflete teorias de longa data da psicologia organizacional, onde a ausência de necessidades básicas causa insatisfação, mas sua presença não causa necessariamente satisfação. O modelo aprendeu essa estrutura por conta própria, sem ser instruído a procurá-la.

Os pesquisadores também submeteram o sistema a verificações rigorosas para garantir que ele não estava apenas memorizando dados ou criando contradições. Eles verificaram que as regras geradas nunca se contradiziam e que o sistema podia responder consistentemente "sim" ou "não" a perguntas sobre se um conjunto específico de fatos era suficiente para disparar uma decisão ou se um fato ausente bloquearia ela. Em um teste envolvendo dados biológicos onde as verdadeiras relações de causa e efeito eram conhecidas, o sistema identificou corretamente a direção da influência em oitenta e três por cento dos casos examinados. Isso sugere que o modelo não está apenas encontrando padrões, mas capturando a lógica subjacente de como esses sistemas funcionam. O estudo também observou cuidadosamente onde o sistema não funciona tão bem. Quando os dados envolvem sinais contínuos, como o reconhecimento de um som ou uma imagem, onde um fator pode compensar perfeitamente outro, o desempenho do sistema cai em comparação com modelos projetados para essas tarefas. Isso não é uma falha, mas uma característica de seu design; o sistema admite quando o mundo não opera sob portões e gatilhos estritos, e performa pior nesses cenários, o que é um resultado previsível e honesto.

A significância deste trabalho reside em sua capacidade de preencher a lacuna entre a necessidade de alta precisão e a necessidade de transparência absoluta. Em campos como finanças, justiça e saúde, uma decisão não pode ser tomada se não puder ser auditada. As ferramentas atuais frequentemente forçam uma escolha entre um modelo altamente preciso que não consegue explicar seu raciocínio e um modelo simples que é fácil de explicar, mas que frequentemente comete erros. Esta nova abordagem oferece um meio-termo onde o modelo é tanto preciso o suficiente para ser útil quanto estruturado o suficiente para ser certificado. Ela oferece uma maneira de perguntar não apenas "por que esta pessoa foi rejeitada?", mas "o que exatamente era necessário para que esta pessoa fosse aprovada, e esse requisito foi atendido?". Ao aprender a estrutura dupla de gatilhos suficientes e portões necessários, o sistema oferece uma linguagem que corresponde à lógica das leis e políticas que ele deve aplicar. Ele não afirma ser o modelo mais preciso para todos os problemas possíveis, mas, para o domínio específico e crítico das decisões de alto risco, fornece um novo padrão para o que significa ser uma máquina auditável.