🤖 machine learning

PASC: Pipeline-Aware Conformal Prediction with Joint Coverage Guarantees for Multi-Stage NLP and LLM Pipelines

O artigo apresenta o PASC, um método de previsão conformal sensível ao pipeline que garante coberturas conjuntas em amostras finitas para sistemas de NLP e LLM multietapa, reduzindo o problema a um único cálculo de quantil escalar e, assim, superando significativamente a calibração independente e os limites conservadores de Bonferroni tanto em precisão quanto em eficiência.

Autores originais: Varun Kotte

Publicado 2026-05-20

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Varun Kotte

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Problema: A "Corrente Quebrada" da IA

Imagine que você está construindo uma máquina complexa para classificar correspondências. Ela tem três etapas:

Etapa A: Um robô escaneia o envelope e encontra o endereço.
Etapa B: Um segundo robô consulta esse endereço em um banco de dados para encontrar o CEP.
Etapa C: Um terceiro robô coloca a carta na caixa correta com base nesse CEP.

No mundo da IA (especificamente em PLN e LLMs), isso é chamado de pipelines (canalizações). O artigo aponta um grande problema: se você garantir que a Etapa A tem 90% de precisão, a Etapa B tem 90% de precisão e a Etapa C tem 90% de precisão, a máquina inteira não terá 90% de precisão.

Como as etapas ocorrem uma após a outra, os erros se acumulam. Se a Etapa A comete um pequeno erro, a Etapa B recebe uma entrada errada, e a Etapa C falha completamente. Quando a carta chega à caixa, todo o sistema pode estar funcionando apenas 73% das vezes, mesmo que cada robô individual fosse "90% confiável".

As Soluções Antigas: Adivinhar ou Superproteger

O artigo afirma que os métodos existentes para corrigir isso são falhos:

O Método "Independente": Este trata cada robô separadamente. Ele diz: "Tenho 90% de certeza de que a Etapa A está certa e 90% de certeza de que a Etapa B está certa."
- A Falha: Ignora o fato de que, se a Etapa A falhar, toda a cadeia quebra. Isso dá uma falsa sensação de segurança sobre o resultado final.
O Método "Bonferroni": Esta é a abordagem "paranóica". Para garantir que toda a cadeia funcione 90% das vezes, ela força cada robô a ter 99% de precisão (dividindo o orçamento de erro igualmente).
- A Falha: É muito conservador. Faz com que as etapas fáceis (como encontrar um endereço) trabalhem muito mais do que o necessário, o que atrasa tudo e torna o sistema menos eficiente, mesmo que o resultado final seja seguro.

A Nova Solução: PASC (A Estratégia do "Elo Mais Fraco")

Os autores introduzem o PASC (Pipeline-Aware Split Conformal Prediction).

A Ideia Central:
Em vez de verificar se o Robô A é bom, se o Robô B é bom e se o Robô C é bom separadamente, o PASC faz uma única pergunta: "O pior erro em toda a cadeia é pequeno o suficiente?"

Pense em uma corrente feita de elos de metal. A força da corrente não é a média de todos os elos; é determinada pelo elo mais fraco.

Se o Elo 1 é forte, o Elo 2 é forte, mas o Elo 3 é fraco, toda a corrente quebra no Elo 3.
O PASC foca inteiramente nesse elo mais fraco (o "erro máximo") em todo o processo.

Como funciona:

O sistema executa a pipeline em um monte de exemplos de prática.
Para cada exemplo, calcula a "pontuação de erro" para cada etapa.
Seleciona a pontuação de erro mais alta daquela execução específica (o "elo pior").
Define um único limite de segurança com base nessas pontuações de "elo pior".

Se o "elo pior" em um novo exemplo do mundo real estiver abaixo desse limite, o sistema diz: "Estamos seguros!" Se o elo pior for muito alto, ele diz: "Não confie neste resultado."

Por que o PASC é Melhor?

O artigo afirma que o PASC é uma solução "Cachinhos Dourados" — é exatamente o ideal.

É mais seguro que o método "Independente": Garante realmente que toda a pipeline funcione 90% das vezes (ou qualquer alvo que você defina), não apenas as partes individuais.
É mais inteligente que o método "Paranóico": Não força as etapas fáceis a serem perfeitas. Percebe que, se a Etapa A é fácil e a Etapa C é difícil, a segurança do sistema depende da Etapa C. O PASC ajusta automaticamente à parte mais difícil da cadeia, enquanto o antigo método "Paranóico" desperdiçava esforço tornando as partes fáceis super-duper perfeitas.

Os Resultados (A "Prova")

Os autores testaram isso em uma pipeline real de processamento de texto (encontrar nomes, vinculá-los a fatos e categorizá-los).

Precisão: O PASC alcançou uma taxa de sucesso de 96,4% para toda a pipeline. O método "Paranóico" obteve 93,4%, e o método "Independente" obteve apenas 86,5%.
Eficiência: O PASC foi tão eficiente quanto os outros (não produziu listas enormes e inúteis de palpites).
Velocidade: Como o PASC precisa calcular apenas um número de segurança em vez de três separados, é 1,7 vezes mais rápido para configurar.
Robustez: Quando os dados mudaram (por exemplo, passando de artigos de notícias para posts do Twitter), o PASC manteve-se confiável, enquanto o método "Independente" falhou e não conseguiu proteger o usuário.

A Conclusão

O PASC é uma nova maneira de confiar em sistemas de IA que possuem múltiplas etapas. Em vez de confiar em cada etapa individualmente ou ser excessivamente cauteloso sobre cada etapa única, ele olha para a cadeia inteira e garante que o elo mais fraco seja forte o suficiente. Isso oferece aos usuários uma rede de segurança matematicamente garantida para o resultado final sem atrasar o sistema.

Resumo Técnico: PASC (Predição Conformal Consciente do Pipeline)

1. Declaração do Problema

Sistemas modernos de Processamento de Linguagem Natural (PLN) e Modelos de Linguagem de Grande Escala (LLMs) são cada vez mais implantados como pipelines de múltiplos estágios (por exemplo, Reconhecimento de Entidades Nomeadas $\to$ Desambiguação de Entidades $\to$ Classificação de Entidades, ou cadeias Planejador $\to$ Ferramenta $\to$ Crítico). Um desafio crítico nesses sistemas é a Quantificação de Incerteza de Ponta a Ponta (E2E).

Embora estágios individuais possam ser calibrados para fornecer garantias de cobertura marginal (por exemplo, $P(\text{estágio}_k \text{ coberto}) \ge 1-\alpha$ ), essas garantias não se traduzem para o pipeline como um todo.

Calibração Independente: Calibrar cada estágio no nível $1-\alpha$ independentemente resulta em uma probabilidade de cobertura conjunta de no máximo $(1-\alpha)^K$ (sob independência), o que degrada significativamente à medida que o número de estágios $K$ aumenta. Para $K=3$ e $\alpha=0,1$ , a cobertura conjunta cai para $\approx 72,9\%$ , muito abaixo do alvo de $90\%$ .
Correção de Bonferroni: Aplicar um limite de união calibrando cada estágio em $1-\alpha/K$ garante a cobertura conjunta ( $\ge 1-\alpha$ ), mas é excessivamente conservadora. Ela aloca orçamentos de erro uniformemente, independentemente da dificuldade do estágio, levando a conjuntos de previsão desnecessariamente grandes (sobre-cobertura) em estágios fáceis, sem ganhos proporcionais na confiabilidade conjunta.
Alternativas Existentes: Métodos como MC Dropout ou Deep Ensembles fornecem estimativas heurísticas de incerteza, mas carecem de garantias de distribuição livre e amostra finita, e frequentemente ignoram dependências entre estágios.

O problema central é a falta de um método que forneça uma garantia formal, de amostra finita e distribuição livre de cobertura conjunta para todo o pipeline, mantendo a eficiência (ou seja, não inflando desnecessariamente os tamanhos dos conjuntos de previsão).

2. Metodologia: PASC

Os autores propõem o PASC (Predição Conformal Dividida Consciente do Pipeline), um método que reduz o problema de calibração conjunta de múltiplos estágios para um problema padrão de predição conformal escalar.

Insight Chave

O evento "todos os $K$ estágios são simultaneamente cobertos" é matematicamente equivalente ao evento "a pontuação de não conformidade máxima em todos os estágios não excede um limiar."
$\bigcap_{k=1}^K \{s_k \le q\} \iff \left\{ \max_{k} s_k \le q \right\}$
onde $s_k$ é a pontuação de não conformidade do estágio $k$ .

Algoritmo

Definição de Pontuação: Para uma amostra do pipeline, calcule pontuações de não conformidade por estágio ( $s_1, \dots, s_K$ $s_{1}, \dots, s_{K}$ ).
- REN (Reconhecimento de Entidades Nomeadas): $s_{REN} = \max_t (1 - p_{BIO, t})$ (probabilidade softmax).
- DEN (Desambiguação de Entidades Nomeadas): $s_{DEN} = 1 - \text{score}(e^*)$ (pontuação da entidade de maior ranking).
- Classificação de Entidades: $s_{classificação} = 1 - \max_c \min_{\text{span}} p_{RoBERTa}$ .
Pontuação Máxima Conjunta: Calcule a pontuação máxima escalar para cada amostra: $s_{\max} = \max_k s_k$ .
Calibração: Usando um conjunto de calibração, calcule o quantil conformal $\hat{q}$ da distribuição de $s_{\max}$ no nível $1-\alpha$ .
Previsão: Para uma entrada de teste, calcule pontuações por estágio. O pipeline é aceito se $s_{\max} \le \hat{q}$ . O conjunto de previsão para cada estágio $k$ é $C_k(x) = \{y_k : s_k(x, y_k) \le \hat{q}\}$ .

Garantia Teórica

Sob a suposição de troca entre dados de calibração e teste, o PASC fornece uma garantia de amostra finita e distribuição livre:
$P\left( \bigcap_{k=1}^K \{s_k(x_{n+1}, y_{k,n+1}) \le \hat{q}\} \right) \ge 1 - \alpha$
A garantia é quase apertada, limitada por $1 - \alpha + \frac{1}{n+1}$ . Diferentemente de Bonferroni, que usa um limite de união do pior caso, o PASC adapta-se à distribuição conjunta empírica das pontuações, atribuindo automaticamente orçamentos mais apertados a estágios "fáceis" (pontuações baixas) e orçamentos mais frouxos a estágios "difíceis".

3. Contribuições Principais

Algoritmo PASC: Um procedimento de calibração consciente do pipeline que reduz a cobertura conjunta de múltiplos estágios para um único cálculo de quantil escalar na pontuação máxima conjunta de não conformidade.
Garantia Formal: Um teorema que prova cobertura conjunta de amostra finita e distribuição livre ( $\ge 1-\alpha$ ) sob troca, com um resultado de quase apertamento.
Avaliação Abrangente: Experimentos em três cenários de deslocamento (distribuição interna, REN do Twitter, REN do Wikipedia), variando tamanhos de calibração e escalando de $K=1$ para $K=6$ estágios.
Verificações de Sanidade: Testes de permutação e controles negativos confirmando que a validade não é um artefato de erros de implementação, vazamento de dados ou limiares excessivamente amplos.

4. Resultados Experimentais

Os autores avaliaram o PASC em um pipeline de três estágios (REN $\to$ DEN $\to$ Classificação de Entidades) usando os conjuntos de dados CoNLL-2003, WNUT-17 e WikiNEuRal.

Cobertura vs. Eficiência: Em $\alpha=0,1$ $α = 0, 1$ com $K=3$ $K = 3$ :
- PASC: Alcançou 96,4% de cobertura E2E.
- Bonferroni: Alcançou 93,4% de cobertura E2E.
- CP Independente: Alcançou 86,5% de cobertura E2E.
- Crucialmente, todos os métodos mantiveram um tamanho médio idêntico de conjunto de previsão de 1,083, demonstrando a eficiência superior do PASC em converter probabilidade de cobertura em tamanho de conjunto.
Deslocamento de Distribuição: Quando calibrado no CoNLL-2003 e testado em domínios deslocados (WNUT-17, WikiNEuRal):
- A CP Independente colapsou para 59,0% de cobertura.
- PASC e Bonferroni mantiveram 100% de cobertura (devido a limiares conservadores fornecendo uma margem contra o deslocamento).
Escalonamento para $K$ Estágios: Em experimentos sintéticos escalando para $K=6$ $K = 6$ :
- A cobertura da CP Independente caiu para 0,53 (colapso multiplicativo).
- O PASC permaneceu próximo da cobertura alvo, evitando o decaimento multiplicativo.
Cobertura Condicional: O PASC mostrou vantagens significativas em subpopulações "difíceis" (por exemplo, o quintil de confiança REN mais difícil), alcançando 82,0% de cobertura em comparação com 67,0% para Bonferroni e 30,0% para CP Independente.
Tempo de Execução: A calibração do PASC é 1,7 $\times$ mais rápida que Bonferroni e CP Independente porque requer o cálculo de apenas um quantil em vez de $K$ .

5. Significado e Alegações

O artigo afirma que o PASC aborda uma lacuna fundamental na implantação de sistemas de PLN de múltiplos estágios:

Certificação Direta: Diferentemente da CP Independente (que certifica estágios locais, mas falha globalmente) ou Bonferroni (que garante globalmente, mas paga um "imposto de conservadorismo"), o PASC certifica diretamente o evento exato de implantação de interesse (aceitação conjunta).
Redução Mínima: A redução de um problema de múltiplos estágios para um problema escalar é matematicamente simples (usando o máximo), mas representa a escalarização monótona suficiente mínima para o evento de aceitação conjunta.
Aplicabilidade Prática: O método é imediatamente aplicável a qualquer pipeline de múltiplos estágios (incluindo sistemas compostos de LLM e fluxos de trabalho de agentes) sem exigir modificação do modelo ou sobrecarga pesada de inferência.
Robustez: Embora as garantias teóricas dependam da troca, os resultados empíricos sugerem que o PASC mantém a cobertura sob deslocamento de distribuição melhor do que a CP Independente, embora os autores observem que a extensão para CP ponderada para tratamento robusto de deslocamento seja trabalho futuro.

Os autores posicionam o PASC não como um substituto para calibração específica de estágio, mas como a camada de agregação necessária que garante a confiabilidade da saída de todo o pipeline, que é a métrica que importa para a tomada de decisão a jusante em aplicações de alto risco.