Deployment-complete benchmarking

Resumo Técnico: Avaliação Completa para Implantação

Declaração do Problema
As atuais avaliações de aprendizado de máquina orientam cada vez mais decisões críticas de implantação, como a aquisição de modelos, triagem de materiais e triagem de compostos. No entanto, existe uma desconexão fundamental: uma pontuação de avaliação fornece evidências apenas para a resposta específica que registra (por exemplo, precisão de previsão em um conjunto de teste), não necessariamente para a ação de implantação requerida (por exemplo, segurança, robustez ou um limiar físico específico). Um modelo pode ter desempenho perfeito em uma avaliação, enquanto a ação derivada dessa pontuação permanece subdeterminada, pois a implantação depende de respostas fora do escopo da avaliação (por exemplo, toxicidade, estabilidade ou robustez fora da distribuição). Este artigo argumenta que métricas padrão, como precisão, calibração e incerteza, não garantem que uma pontuação de avaliação suporte uma afirmação específica de implantação.

Metodologia
Os autores introduzem a avaliação completa para implantação, um framework que trata a transição de evidências de avaliação para ação de implantação como um problema de fatoração matemática.

• Definições Formais:

  • Seja $S$ o espaço de candidatos, $Z$ o espaço de evidências registradas (pontuações de avaliação) e $A$ o espaço de ações de implantação.
  • Uma avaliação registra um mapa de evidências $E: S \to Z$. Uma afirmação de implantação é uma ação $D: S \to A$.
  • Completude da Afirmação: Uma avaliação é completa para uma afirmação $D$ se e somente se $D$ for constante em cada fibra de evidência $E^{-1}(z)$. Equivalentemente, deve existir um mapa $\phi: Z \to A$ tal que $D = \phi \circ E$.
  • Fibras Mistas: Se uma fibra $E^{-1}(z)$ contiver candidatos que requerem ações de implantação diferentes (por exemplo, um candidato deve ser implantado, outro rejeitado), ela é uma "fibra mista". Isso serve como uma testemunha matemática de que a evidência relatada é insuficiente para determinar a ação.

• Ferramentas de Diagnóstico:

  • Auditoria de Fibras Mistas: Um diagnóstico que conta a fração de candidatos que residem em fibras mistas.
  • Curvas de Completude: Estas quantificam o custo (em termos de sondas de resposta adicionais ou orçamento) necessário para resolver a ambiguidade. Elas plotam a "fração certificada" (candidatos com fibras puras) contra o "orçamento de resposta".
  • Tipos de Certificação: O artigo distingue entre certificação exata (conjuntos finitos com rótulos conhecidos), certificação de calibração (risco empírico em dados retidos) e certificação prevista (limites de intervalo baseados em suposições de modelagem).

• Desenho Experimental:

  • Espaços de Resposta Controlados: Experimentos sintéticos onde a geometria do espaço de resposta é conhecida, permitindo o cálculo preciso do "tamanho residual" (o componente da resposta de implantação invisível à avaliação).
  • Auditorias Públicas: Análise de conjuntos de dados existentes (Tox21, Matbench, JARVIS, Visão) para medir a prevalência de fibras mistas em avaliações do mundo real.
  • Reproduções Retidas: Simulações operacionais onde um fluxo de trabalho "certificar-então-adquirir" é testado. Candidatos com fibras puras são decididos imediatamente; aqueles em fibras mistas são enviados para medição adicional (aquisição).

Principais Resultados

1. Precisão da Avaliação $\neq$ Completude para Implantação:

   • Em experimentos controlados, a previsão conformal no canal de avaliação alcançou 94,98% de cobertura nos rótulos medidos, mas apenas 10,07% no canal de implantação não medido.
   • Mesmo com erro zero na avaliação (previsão perfeita na avaliação), a cobertura de implantação colapsou (para 45,4% em um tamanho residual específico) porque a direção de implantação tinha um componente ortogonal à extensão da avaliação.
   • Inversão do Ranking: O modelo com o menor Erro Absoluto Médio (MAE) na avaliação foi frequentemente o pior em certificar candidatos para implantação. Em algumas execuções, o modelo com melhor MAE certificou apenas 6% de seus principais candidatos, enquanto um modelo com MAE pior certificou 100%, porque sua extensão de resposta cobria a sonda de implantação.

2. Incompletude Sistêmica em Avaliações Públicas:

   • Tox21: 97,9% das fibras (grupos de compostos com perfis idênticos de 7 ensaios) eram mistas em relação ao ponto final de implantação SR-p53.
   • Matbench & JARVIS: Nas principais auditorias de 20 quantis, a fração certificável mediana para afirmações de estabilidade e de gap de banda foi de 0%.
   • Visão: Fibras de previsão limpa deixaram 22,7% das afirmações de robustez a corrupção ambíguas.

3. Impacto Operacional de Políticas Conscientes de Completude:

   • Redução de Decisões Falsas: Nas reproduções retidas do Tox21, um fluxo de trabalho "certificar-então-adquirir" reduziu as decisões falsas empíricas de 1,19% (política de maioria da avaliação) para 0,027%. No JARVIS, as decisões falsas de gap de banda caíram de 20,3% para 0,128%.
   • Seleção de Modelos: Fluxos de trabalho conscientes de completude selecionaram modelos diferentes dos fluxos de trabalho baseados em MAE de avaliação. Em uma divisão representativa do JARVIS, o modelo baseado em MAE de avaliação tomou 613 decisões falsas de gap de banda, enquanto o fluxo de trabalho selecionado por resposta não tomou nenhuma.
   • Seleção de Sondas: Políticas de "classificação por resposta" e "ganância residual" identificaram com sucesso sondas relevantes para implantação (por exemplo, ensaios de toxicidade específicos ou cálculos de gap de banda) que reduziram a ambiguidade, superando estratégias de aquisição baseadas em incerteza ou diversidade.

Significado e Afirmações
O artigo afirma que as avaliações prontas para implantação devem mudar seu padrão de relato de "apenas pontuações" para um pacote de evidências auditável. Este pacote deve incluir:

1. A pontuação.
2. O mapa de evidências utilizado.
3. A ação específica que a pontuação pretende suportar.
4. A fração de candidatos cuja ação já está determinada (fibras puras).
5. A fração de ambiguidade (fibras mistas).
6. O custo de completude (orçamento necessário para resolver a ambiguidade).

Os autores argumentam que a precisão, a calibração e a estimativa de incerteza permanecem valiosas para classificação e confiabilidade, mas respondem a perguntas diferentes. A completude para implantação pergunta especificamente se o pacote de evidências determina a ação. O framework fornece um diagnóstico para quando a evidência é insuficiente, um limite sobre o que estatísticas podem reparar em informações faltantes (nenhum, se dependerem apenas da mesma evidência) e uma regra de projeto para adquirir as informações necessárias para apoiar decisões de implantação.

Limitações e Escopo
O artigo não afirma que todas as avaliações são inúteis, mas sim que elas são frequentemente incompletas para afirmações específicas de implantação. O fluxo de trabalho "certificar-então-adquirir" trata candidatos ambíguos não como falhas, mas como solicitações de medição adicional. O framework é relativo à evidência; adicionar descritores, restrições ou novas medições altera o mapa de evidências e pode reduzir os custos de completude. Os resultados são apresentados como avaliações de risco empírico em dados retidos e diagnósticos matemáticos em conjuntos finitos, em vez de garantias formais de população para distribuições não observadas.