Adaptive auditing of AI systems with anytime-valid guarantees

Resumo Técnico: Auditoria Adaptativa de Sistemas de IA com Garantias Válidas a Qualquer Momento

Enunciado do Problema

A caracterização dos modos de falha em sistemas de IA generativa está atualmente limitada pelo alto custo e tempo necessários para anotação e avaliação. Consequentemente, os praticantes adotaram paradigmas de teste adaptativo, onde casos de teste e tamanhos de amostra são determinados de forma oportunista com base em resultados passados (por exemplo, red-teaming, aprendizado ativo ou refinamento com intervenção humana). Embora práticos, esses fluxos de trabalho violam as premissas estatísticas clássicas: os tamanhos de amostra são frequentemente pequenos (10–50 casos), e as decisões de amostragem/parada são tomadas dinamicamente, em vez de seguir regras pré-especificadas.

A inferência estatística padrão depende de esquemas de amostragem fixos e de assintótica de grandes amostras. Aplicar esses métodos a testes adaptativos infla as taxas de erro do Tipo I (por exemplo, "p-hacking" através de verificações contínuas) e torna difícil definir exatamente qual hipótese está sendo testada. Especificamente, passar em uma suíte de testes direcionada e adaptativa não certifica inerentemente a robustez global, nem a falta de um esquema de amostragem pré-especificado permite testar o desempenho médio. Existe uma lacuna crítica em frameworks estatísticos que possam suportar inferência rigorosa sob amostragem adaptativa arbitrária e parada opcional com garantias de amostra finita.

Metodologia

Os autores propõem um framework que formaliza a auditoria de robustez de IA por meio de dois testes de hipóteses "dualistas" e utiliza Inferência Válida a Qualquer Momento Segura (SAVI) para fornecer garantias estatísticas.

1. Framework de Hipóteses Dualistas
A auditoria é enquadrada como uma competição entre duas hipóteses nulas:

• A Nula do Modelo ($H_{mod}^0$): Afirma que o sistema de IA é globalmente robusto. Formalmente, para todos os subgrupos $S$ com prevalência $\mu(S) \ge \epsilon$, o desempenho médio $V(S)$ está acima de um limiar alvo $q$. A rejeição implica a existência de um modo de falha.
• A Nula do Auditor ($H_{aud}^0$): Afirma que o auditor possui uma estratégia adaptativa específica $\pi$ que eventualmente descobrirá um modo de falha. Formalmente, existe um tempo $\tau$ tal que, para todo $t \ge \tau$, os subgrupos selecionados $S_t^\pi$ têm desempenho abaixo de $q$. A rejeição implica que a auditoria foi aprovada (o auditor falhou em encontrar um modo de falha).

O artigo prova que, sob uma estratégia de auditoria assintoticamente consistente (uma que converge para encontrar modos de falha se existirem), essas duas hipóteses nulas são complementos assintóticos. Assim, rejeitar a nula do auditor certifica efetivamente a robustez global.

2. Testagem por Apostas e Processos-E
Para lidar com amostragem adaptativa arbitrária e parada opcional, os autores utilizam o framework de "Testagem por Apostas". O auditor é conceituado como fazendo apostas contra subgrupos suspeitos de serem modos de falha. Sob a hipótese nula, nenhuma estratégia de aposta deve gerar lucro.

• Processos-E: A riqueza das apostas é rastreada por meio de processos-e, que são os análogos sequenciais de valores-p. Um processo-e $(E_t)$ garante que, para qualquer tempo de parada $\tau$, $E_P[E_\tau] \le 1$ sob a hipótese nula.
• Controle de Erro do Tipo I: Pela desigualdade de Ville, parar quando um processo-e excede $1/\alpha$ garante uma taxa de erro do Tipo I de no máximo $\alpha$, independentemente da estratégia de amostragem adaptativa ou do momento em que o teste é interrompido.

3. Estatísticas de Teste Específicas
Os autores propõem várias formulações de processos-e para ambas as hipóteses:

• Razão de Verossimilhança (LR): Baseada no Teste de Razão de Verossimilhança Sequencial (SPRT), comparando a verossimilhança da pontuação observada sob a hipótese de falha ($q-\delta$) versus a nula ($q$).
• Inferência Universal (UI): Uma versão adaptativa onde a probabilidade alternativa é estimada a partir dos dados (por exemplo, $\hat{\gamma}_{t-1}$) em vez de ser fixa, otimizando a "aposta" com base nas taxas de falha aprendidas.
• Extensões de Shiryaev-Roberts (SR): Estas integram detecção de mudança de ponto para lidar com cenários onde o auditor requer um "período de aprendizado" antes de identificar um modo de falha. Elas somam razões de verossimilhança começando de todos os pontos de mudança possíveis, protegendo-se contra atrasos desconhecidos.

4. Procedimento de Teste Dual
O framework executa processos-e simultâneos para $H_{mod}^0$ e $H_{aud}^0$. O procedimento para assim que qualquer estatística exceder $1/\alpha$. Como as duas nulas são mutuamente exclusivas (sob a suposição de uma estratégia de auditoria válida), uma correção de Bonferroni é desnecessária; a Taxa de Erro Familiar (FWER) é controlada no nível $\alpha$.

Principais Contribuições

1. Formalização de Hipóteses Dualistas: O artigo estabelece um framework teórico onde a auditoria de IA é definida como testar a nula do modelo contra a nula do auditor. Ele prova que, com um auditor suficientemente poderoso (assintoticamente consistente), esses testes são complementos assintóticos, permitindo conclusões binárias sobre a robustez global.
2. Procedimentos Duplos Válidos a Qualquer Momento Seguros: Os autores introduzem processos-e duplos que fornecem limites de parada tanto para a detecção de modos de falha quanto para a certificação da auditoria. Esses procedimentos mantêm o controle de erro do Tipo I de amostra finita sob amostragem adaptativa arbitrária e parada opcional.
3. Validação Empírica: O estudo demonstra que a testagem adaptativa acoplada a processos-e alcança conclusões rigorosas significativamente mais rápido do que métodos pré-especificados. Em alguns casos, conclusões estatisticamente válidas são alcançadas com tão poucos quanto 20 observações.

Resultados Experimentais

O framework foi avaliado em dois cenários:

1. Dados Semi-sintéticos (Conjunto de Dados GPQA): Os autores simularam pipelines de IA com vários graus de degradação de desempenho entre subgrupos.

   • Desempenho: O procedimento SR-LR-UI (Shiryaev-Roberts com Inferência Universal) alcançou o maior poder na detecção de modos de falha.
   • Comparação: Estratégias adaptativas superaram significativamente as estratégias pré-especificadas (Estratificada e Pré-aprendida). Estratégias pré-especificadas frequentemente falharam em detectar modos de falha, levando a uma alta taxa de rejeição da nula do auditor (aprovação da auditoria) mesmo quando o sistema não era robusto — um risco de má interpretação.
   • Oráculo: Um auditor oráculo (conhecendo o verdadeiro modo de falha) poderia rejeitar a nula em 15–25 observações, sugerindo que estratégias de auditoria mais inteligentes poderiam reduzir ainda mais os requisitos de amostra.
   • Controle de Erro: Quando nenhum modo de falha existia, todos os métodos aprovaram corretamente a auditoria (rejeitaram $H_{aud}^0$) sem detectar falsamente falhas, confirmando o controle do erro do Tipo I.

2. Pipeline de LLM do Mundo Real (Notas Clínicas): O framework foi aplicado a um LLM extraindo Determinantes Sociais da Saúde (SDoH) de notas clínicas.

   • Aprendizado Adaptativo: O auditor adaptativo aprendeu com sucesso a aumentar a amostragem de categorias de baixa precisão (Spearman $\rho = -0.84$ entre frequência de amostragem e precisão).
   • Eficiência: SR-LR-UI exigiu o menor número de amostras para rejeitar a nula do modelo (detectando que o sistema não era robusto) em comparação com outros métodos, excluindo o Oráculo.

Significado e Alegações

O artigo alega fornecer o primeiro framework estatístico que formaliza o que pode ser testado e como testá-lo sob regimes de auditoria de IA altamente flexíveis e direcionados. Ao desacoplar a validade estatística da estratégia de amostragem, permite que os praticantes utilizem testes adaptativos e eficientes em recursos (por exemplo, red-teaming, aprendizado ativo) sem sacrificar o rigor estatístico.

Os autores enfatizam que, embora o framework suporte estratégias arbitrárias, a validade da conclusão de "robustez global" depende do poder do auditor. Se o auditor for fraco (por exemplo, red-teaming deficiente), a auditoria pode ser aprovada mesmo que modos de falha existam, ecoando preocupações de que auditorias mal projetadas podem ser "teatro de segurança". O trabalho visa capacitar os praticantes a avaliar a robustez da IA com confiança, fornecendo uma base estatística geral para práticas de auditoria comuns e modernas.