Deployment of AI-Assisted Interventions: Capacity Constraints and Noisy Compliance

Resumo Técnico: Implantação de Intervenções Assistidas por IA: Restrições de Capacidade e Conformidade Ruidosa

Autores: Carri W. Chan, Yi Han, Hannah Li e Benjamin L. Ranard (Columbia University).
Contexto: Sistemas de entrega de serviços (saúde, educação, recrutamento) onde ferramentas de IA identificam indivíduos para intervenções, mas a implementação real depende de recursos limitados e de comportamentos humanos probabilísticos.

---

1. O Problema

Muitos sistemas modernos utilizam algoritmos de IA para prever riscos ou valores (ex: pacientes com risco de sepse, alunos em risco de evasão) e "empurrar" (nudge) esses indivíduos ou seus provedores para solicitar ou fornecer um serviço. O fluxo padrão é:

1. O algoritmo pontua indivíduos.
2. Indivíduos acima de um limiar (threshold) são alertados.
3. Indivíduos alertados solicitam o serviço com maior probabilidade, mas não garantida (conformidade ruidosa).
4. O provedor de serviço atende a um número limitado de solicitações (restrição de capacidade).

A Falha Atual: A prática padrão seleciona algoritmos e define limiares baseando-se puramente na precisão preditiva (ex: maximizar AUC, sensibilidade). O artigo demonstra que essa abordagem é subótima quando há capacidade limitada e comportamento probabilístico. Ignorar a dinâmica operacional leva a dois problemas principais:

• Subutilização: Se o limiar for muito conservador, a capacidade fica ociosa porque poucas solicitações chegam.
• Cannibalização (Cannibalization): Se o limiar for muito baixo, o excesso de solicitações (incluindo de baixo valor) compete pelos recursos limitados, deslocando aleatoriamente indivíduos de alto valor que foram corretamente identificados.

---

2. Metodologia e Modelo

Os autores desenvolvem um modelo matemático que formaliza a interação entre previsão, comportamento humano e restrições operacionais.

Componentes do Modelo:

• Comportamento Probabilístico: Indivíduos têm uma probabilidade base ($p_0$) de solicitar serviço independentemente. Se "nudgeados" (alertados), a probabilidade aumenta para $p_0 + \Delta P$.
• Restrição de Capacidade: O sistema pode atender no máximo $M$ solicitações de uma população de $N$.
• Alocação: Quando a demanda excede a capacidade, assume-se inicialmente uma alocação aleatória (todos os solicitantes têm a mesma chance de ser atendidos), refletindo sistemas de "primeiro a chegar, primeiro a ser servido" ou normas éticas de igualdade.
• Métrica de Interesse: Eficácia do Sistema ($W$), definida como o valor total esperado dos indivíduos atendidos (soma dos "verdadeiros positivos" ou valores contínuos).

Abordagem Analítica:

• Utilizam um modelo fluido (fluid model) para aproximar o comportamento estocástico em grandes escalas, permitindo a derivação de soluções analíticas fechadas.
• Analisam a relação não monotônica entre o limiar de alerta e a eficácia do sistema.

---

3. Principais Contribuições Teóricas

A. Caracterização do Limiar Ótimo (Teorema 1)

Os autores provam que o limiar ótimo ($\tau^*$) não é uma função complexa, mas sim a mínima de dois limiares interpretáveis:
$$\tau^* = \min(\tau_{\text{score}}, \tau_{\text{capacity}})$$
Onde:

1. $\tau_{\text{score}}$ (Limiar Otimizado por Pontuação): Maximiza a eficácia por slot de serviço atendido. Foca em atender apenas os indivíduos de maior valor, evitando a cannibalização por indivíduos de baixo valor.
2. $\tau_{\text{capacity}}$ (Limiar de Correspondência de Capacidade): Garante que a capacidade seja totalmente utilizada, expandindo o alcance para evitar ociosidade quando a capacidade é abundante.

Regimes de Operação:

• Se a capacidade é escassa em relação à demanda base, o limiar ótimo é determinado pela cannibalização ($\tau_{\text{score}}$).
• Se a capacidade é abundante, o limiar ótimo é determinado pela subutilização ($\tau_{\text{capacity}}$).

B. Subotimalidade de Políticas Naturais (Teoremas 2 e 3)

• Limiares Baseados em Previsão: Políticas que fixam o limiar apenas para atingir uma sensibilidade ou especificidade desejada (ignorando $M, p_0, \Delta P$) são geralmente subótimas. Elas não se adaptam às mudanças operacionais, resultando em perdas de eficácia de até 40-50% em simulações.
• Limiares de Correspondência de Capacidade: Políticas que ajustam o limiar apenas para igualar a demanda esperada à capacidade ($\tau_{\text{capacity}}$) falham em regimes de alta demanda, pois ignoram o efeito de cannibalização (atender muitos indivíduos de baixo valor em vez de poucos de alto valor).

C. Seleção de Algoritmos e OpAUC (Seção 5)

O artigo demonstra que a métrica padrão AUC (Área sob a Curva ROC) é mal alinhada com a eficácia operacional.

• O Problema do AUC: O AUC pondera a precisão do algoritmo igualmente em todos os limiares possíveis. No entanto, o sistema opera apenas em uma faixa específica de limiares (determinada pela capacidade). Um algoritmo com AUC menor pode ter melhor desempenho (TPR) exatamente na faixa de limiares onde o sistema opera.
• Solução Proposta: OpAUC (Operational AUC): Uma nova métrica que avalia o algoritmo apenas sobre a distribuição de limiares ótimos esperados, dada a distribuição de capacidade do sistema.
  • Resultado: O OpAUC seleciona corretamente o algoritmo que maximiza a eficácia do sistema, mesmo que tenha um AUC global menor.

---

4. Resultados Empíricos (Estudo de Caso: Sepse)

Os autores aplicaram o framework em dados reais do sistema hospitalar NewYork-Presbyterian (NYP) para um sistema de alerta precoce de sepse.

• Dados: 85.160 encontros de pacientes em 8 hospitais.
• Algoritmos Comparados: Modelo proprietário "Epic Sepsis Model" (AUC = 0.826) vs. Modelo "XGBoost" treinado nos dados (AUC = 0.806).
• Cenário: Uma enfermeira de coordenação tem capacidade limitada ($M$) para verificar pacientes alertados por turno.

Descobertas Chave:

1. Ganho de Limiar: Ajustar o limiar de acordo com a capacidade e o comportamento (usando a fórmula de dois pontos) aumentou a eficácia do sistema em até 40% em comparação com limiares baseados apenas em previsão.
2. Seleção de Algoritmo Invertida: Em cenários de capacidade limitada (onde $M/N$ é baixo), o modelo XGBoost (AUC menor) superou o modelo Epic (AUC maior) em até 22,8% de eficácia do sistema.
   • Motivo: O XGBoost tinha melhor desempenho (maior TPR) especificamente na faixa de limiares de alto risco onde a competição por slots era intensa, enquanto o Epic performava melhor em limiares que o sistema nunca usaria devido à escassez de recursos.
3. Robustez: O limiar ótimo derivado sob a suposição de alocação aleatória manteve-se próximo do ótimo mesmo quando os provedores priorizavam parcialmente os solicitantes de maior pontuação.

---

5. Significado e Implicações Práticas

1. Mudança de Foco: A implementação de IA deve mudar do foco exclusivo no desenvolvimento de modelos (treinamento) para o foco na implantação operacional. A precisão preditiva não garante bons resultados operacionais.
2. Ação Imediata: Praticantes podem melhorar drasticamente a eficácia de sistemas existentes sem retreinar modelos, apenas ajustando os limiares de alerta com base na capacidade disponível e nas taxas de resposta comportamental.
3. Nova Métrica de Avaliação: O uso do OpAUC é recomendado para a seleção de algoritmos em ambientes com restrições de recursos, substituindo o AUC tradicional que pode levar à escolha de modelos inferiores para a tarefa específica.
4. Gestão de Trade-offs: O framework fornece uma estrutura clara para equilibrar a necessidade de preencher a capacidade (utilização) contra a necessidade de selecionar os melhores candidatos (evitar cannibalização).

Em suma, o artigo demonstra que a otimização operacional (considerando capacidade e comportamento) é tão crítica quanto a otimização preditiva para o sucesso de intervenções assistidas por IA em setores críticos como saúde e educação.