Statistical Aspects of SHAP: Functional ANOVA for Model Interpretation

Imagine que você esteja tentando descobrir por que uma bola de cristal mágica fez uma previsão específica. Talvez ela tenha dito que você tiraria um A na prova de matemática, ou que um pedido de empréstimo foi rejeitado. No mundo da ciência da computação, isso é chamado de "aprendizado de máquina", e a bola de cristal é um algoritmo complexo que aprendeu a tomar decisões observando milhares de pistas, ou "características" (features). Mas aqui está a parte complicada: esses algoritmos são frequentemente tão complicados que até mesmo seus criadores não conseguem explicar facilmente por que tomaram uma decisão específica. É como uma caixa preta. Para consertar isso, cientistas desenvolveram ferramentas para espiar o interior e atribuir uma "pontuação" a cada pista, dizendo o quanto aquela pista específica contribuiu para a resposta final. Uma das ferramentas mais populares para isso é chamada de SHAP. Ela é baseada em uma ideia antiga da teoria dos jogos chamada "valor de Shapley", que é essencialmente uma maneira justa de dividir um prêmio entre uma equipe de jogadores com base no quanto cada pessoa ajudou a equipe a vencer. A grande questão que os pesquisadores têm feito é: Como calculamos essas pontuações de forma justa quando existem centenas de pistas, e como decidimos o que é o "normal" para fins de comparação?

Este artigo, escrito por Andrew Herren, P. Richard Hahn e Rafael Alcantara, mergulha profundamente na matemática por trás do SHAP para ver como ele realmente funciona. Os autores tratam o problema como um quebra-cabeça gigante, conectando os pontos entre a explicabilidade de aprendizado de máquina e um campo chamado "análise de sensibilidade", que é usado na física e na engenharia para ver como a mudança nos inputs afeta os outputs. Eles descobrem que o SHAP está, na verdade, fazendo algo muito semelhante a uma técnica estatística chamada "ANOVA Funcional", que decompõe uma função complexa em partes menores e gerenciáveis — como separar um smoothie em suas frutas individuais para ver quanta açúcar cada uma adiciona. O artigo sugere que as maiores dores de cabeça que as pessoas enfrentam ao usar o SHAP vêm de duas escolhas principais: decidir qual "baseline" ou ponto de referência usar para comparação (como perguntar: "Comparado a quê?") e decidir quantas das bilhões de combinações possíveis de pistas realmente verificar.

Os autores argumentam que, embora o SHது seja uma ferramenta poderosa, não é uma varinha mágica que resolve tudo automaticamente. Eles mostram que as respostas que você obtém dependem fortemente da distribuição de dados que você escolhe como sua referência de fundo. Por exemplo, se você comparar uma previsão específica com uma "baseline única" (como uma pessoa média), poderá obter um resultado muito diferente do que se comparar com uma "baseline correlacionada" (onde as características que costumam ir juntas são mantidas juntas). Em suas simulações, eles descobriram que o uso de uma baseline correlacionada pode mudar dramaticamente as pontuações, às vezes invertendo completamente a importância de uma característica. Eles também exploram como lidar com o fato de que verificar todas as combinações de características é impossível quando se tem milhares delas. Eles sugerem que, em vez de verificar tudo cegamente, poderíamos usar métodos de amostragem mais inteligentes — como procurar pelas interações de "ordem baixa" mais importantes primeiro — para obter uma resposta boa o suficiente sem esperar para sempre.

Em última análise, o artigo não afirma ter encontrado a maneira perfeita de usar o SHAP. Em vez disso, ele esclarece as decisões técnicas que os usuários estão tomando, muitas vezes sem perceber, ao executar o software. Os autores sugerem que a conexão entre explicar modelos de IA e a análise de sensibilidade é uma conexão fascinante que pode levar a melhores métodos no futuro. No entanto, eles alertam que não existe um único valor de Shapley "correto" para cada situação; a resposta "certa" depende de qual pergunta você está tentando responder e de que tipo de dados de fundo você escolhe para comparar. Portanto, embora o SHAP nos ajude a espiar dentro da caixa preta, o artigo nos lembra que ainda precisamos ser cuidadosos sobre como interpretamos a luz que vemos.