Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction

Resumo Técnico: Auditoria de LLMs para Equidade Algorítmica em Previsão Tabular Aprimorada por Casos

1. Problema e Motivação

O artigo aborda a crescente adoção de Grandes Modelos de Linguagem (LLMs) em tarefas de previsão de alto risco no setor de serviços sociais, especificamente na previsão de alocação de habitação para pessoas em situação de rua.

• Contexto: Organizações sem fins lucrativos coletam "casenotes" (registros de atendimento) não estruturados durante o trabalho de rua. Esses dados contêm informações ricas sobre os clientes, mas são difíceis de analisar em escala.
• Desafio: Embora os LLMs possam processar esses textos não estruturados, existe o risco de que eles introduzam ou amplifiquem vieses algorítmicos (baseados em raça, gênero, etc.) além dos já presentes em modelos tabulares tradicionais.
• Objetivo: Auditar a equidade algorítmica e o desempenho preditivo de LLMs ao serem aplicados a dados tabulares de habitação, tanto com quanto sem a augmentação por resumos de textos (casenotes).

2. Metodologia

Os autores realizaram um estudo empírico utilizando um conjunto de dados real de uma organização sem fins lucrativos (471 clientes, 2019–2021).

• Tarefa de Previsão: Classificação multiclasse para prever o nível máximo de habitação alcançado por um cliente até 2021 (0: Rua, 1: Temporário, 2: Abrigo/Transição, 3: Habitação Permanente).
• Modelos Testados:
  • LLMs: Variantes do Llama 3 (17B e 70B parâmetros).
  • Baseline: Random Forest (Floresta Aleatória) treinado apenas em covariáveis tabulares.
• Configurações Experimentais:
  1. Zero-shot: O modelo recebe a descrição tabular (e opcionalmente um resumo dos casos) sem treinamento específico para a tarefa.
  2. Fine-tuned (Ajuste Fino): O modelo é treinado com os dados rotulados da tarefa.
  3. Augmentação: Adição de resumos de casenotes (gerados por LLM) e cues de importância de características (destacar a feature mais importante, "maior alocação antes de 2019").
• Métricas de Equidade:
  • Como a saída é multiclasse, foram usadas extensões multiclasse de Paridade Estatística (SP) e Igualdade de Oportunidade (EoO).
  • Avaliou-se a disparidade de erro entre subgrupos de Raça (Branco, Preto, Outro) e Gênero (Masculino, Feminino).

3. Contribuições Principais

1. Auditoria de Desempenho e Equidade: Avaliação comparativa de modelos LLM (17B/70B) versus Random Forest em uma tarefa real de serviços sociais.
2. Análise de Trade-off: Demonstração de que o ajuste fino (fine-tuning) pode melhorar a precisão geral, mas frequentemente amplifica disparidades entre subgrupos minoritários se os dados de treinamento forem desbalanceados.
3. Impacto de Estratégias de Prompt: Investigação de como resumos de texto e dicas de importância de características afetam a justiça. Descobriu-se que resumos podem reduzir lacunas de equidade mesmo sem aumentar a precisão, enquanto destacar uma única feature historicamente preditiva pode reforçar vieses históricos.

4. Resultados Chave

• Desempenho vs. Equidade (Sem Resumos):

  • O modelo Fine-tuned 70B alcançou a maior precisão (70,2%), superando significativamente os modelos zero-shot e o Random Forest (61,2%).
  • No entanto, esse ganho de precisão veio com um aumento nas disparidades de equidade (EoO Mean e Max mais altos), especialmente afetando o grupo feminino (que representava menos de 25% dos dados).
  • Conclusão: O ajuste fino em dados desbalanceados tende a otimizar para a maioria, prejudicando minorias.

• Impacto dos Resumos de Casenotes:

  • Zero-shot: A adição de resumos melhorou a precisão em até 13,9% (ajudando a contextualizar dados não estruturados).
  • Fine-tuned: A precisão caiu ligeiramente com os resumos (ruído), mas a equidade melhorou substancialmente. O modelo Fine-tuned 70B + Resumos reduziu o EoO Mean de 0,071 (sem resumos) para 0,021.
  • Insight: Os resumos permitem que o modelo utilize informações contextuais para suavizar previsões entre grupos, mitigando disparidades que persistem em modelos puramente tabulares.

• Importância de Características (Feature Importance):

  • Adicionar a feature mais importante ("maior alocação antes de 2019") ao prompt aumentou a precisão do modelo Zero-shot 17B, mas piorou a equidade (devido à correlação dessa feature com raça/gênero e desigualdades históricas).
  • No modelo Fine-tuned 70B, forçar a atenção em uma única feature perturbou o equilíbrio interno aprendido pelo modelo, piorando a equidade (EoO Max aumentou quase 4x quando combinado com resumos).

• Comparação com Random Forest:

  • O Random Forest teve desempenho de precisão comparável ao LLM base, mas apresentou as piores métricas de disparidade (SP e EoO).
  • O LLM Fine-tuned com resumos superou o Random Forest tanto em precisão quanto em equidade, demonstrando a vantagem única de LLMs em interpretar contexto não estruturado para mitigar vieses.

5. Significado e Conclusões

O estudo oferece diretrizes práticas para o uso responsável de LLMs em serviços sociais de alto risco:

1. Auditoria é Crucial: O uso de LLMs não é inerentemente neutro; o ajuste fino em dados históricos desiguais pode amplificar injustiças.
2. Valor dos Dados Não Estruturados: Aproveitar resumos de casenotes (texto) junto com dados tabulares pode ser uma estratégia eficaz para reduzir disparidades algorítmicas, mesmo que o ganho de precisão seja marginal em modelos já ajustados.
3. Cuidado com Dicas de Features: Sugerir explicitamente a "feature mais importante" pode ser contraproducente para a equidade, pois pode reforçar vieses históricos embutidos nos dados, especialmente em modelos já treinados.
4. Recomendação: Para cenários de serviços sociais, a combinação de fine-tuning com augmentação de resumos de texto parece ser a abordagem mais promissora para equilibrar alta precisão e justiça algorítmica, desde que as disparidades sejam monitoradas continuamente.

O artigo conclui que, embora os LLMs apresentem riscos de viés, quando aplicados corretamente com dados de contexto (casenotes) e auditoria rigorosa, eles podem superar modelos tradicionais na promoção de equidade em decisões críticas de habitação.