Prediction Sets and Conformal Inference with Interval Outcomes

Resumo Técnico: Conjuntos de Predição e Inferência Conformal com Resultados Intervalares

Autores: Weiguang Liu, Áureo de Paula e Elie Tamer.
Instituições: UCL, IFS, CeMMAP e Harvard University.
Data: Fevereiro de 2026.

1. O Problema

Dados intervalares são onipresentes em econometria e ciências sociais, surgindo frequentemente devido a estratégias de "bracketing" (faixas de resposta) em pesquisas para lidar com não-resposta a itens específicos (ex: renda, riqueza, duração de desemprego). Além disso, dados podem ser censurados à direita ($Y \in [Y_L, \infty)$) ou à esquerda ($Y \in (-\infty, Y_U]$).

O desafio central abordado neste trabalho é a construção de conjuntos de predição (prediction sets) para uma variável de interesse $Y$, dado um conjunto de covariáveis $X$, quando $Y$ não é observado diretamente, mas sim como um intervalo $[Y_L, Y_U]$ tal que $Y \in [Y_L, Y_U]$.

O objetivo é encontrar o conjunto de predição órfão (oracle prediction set), definido como o conjunto de volume mínimo que garante uma taxa de cobertura de $1-\alpha$ (onde $\alpha$ é o nível de erro de cobertura). Diferente de estimadores pontuais (como médias) ou intervalos de confiança tradicionais para parâmetros, o foco aqui é prever a distribuição futura da variável $Y$ com a menor incerteza possível, respeitando a cobertura desejada.

Limitações das abordagens existentes:

• Métodos baseados em regressão de quantis assumem frequentemente que o conjunto de predição é um único intervalo, o que pode não ser eficiente se a densidade condicional for multimodal.
• A identificação parcial (devido à censura intervalar) impede a definição direta de níveis de densidade condicionais, tornando os métodos clássicos de estimativa de nível de densidade inaplicáveis.
• Métodos de imputação para dados intervalares dependem de suposições sobre o mecanismo de censura que podem ser não testáveis e enviesadas.

2. Metodologia

O artigo propõe uma abordagem que combina Identificação Parcial e Inferência Conformal.

A. Definição do Conjunto de Predição Órfão sob Identificação Parcial

• Sob censura intervalar, a distribuição conjunta $(X, Y)$ não é pontualmente identificada. O conjunto identificado $\mathcal{P}_I$ contém todas as distribuições compatíveis com os dados observados $(X, Y_L, Y_U)$.
• O conjunto órfão $C^*$ é definido como o conjunto de volume mínimo que satisfaz a condição de validade:
  $$\inf_{P \in \mathcal{P}_I} P(Y \in C(X) | X=x) \geq 1 - \alpha$$
• Os autores demonstram que, sob censura intervalar, não é possível obter limites úteis para os níveis de densidade de $Y$. Em vez disso, eles caracterizam o conjunto órfão através de um problema de otimização viável baseado na distribuição condicional dos limites observados $(Y_L, Y_U)$:
  $$C^*(x) = \arg \min_{C(x) \in \mathcal{C}} \mu(C(x)) \quad \text{s.t.} \quad P([Y_L, Y_U] \subset C(x) | X=x) \geq 1 - \alpha$$
  Onde $\mathcal{C}$ é a classe de uniões finitas de intervalos disjuntos. Isso permite que o conjunto de predição seja composto por múltiplos intervalos (útil para densidades multimodais).

B. Estimadores Consistentes

• Utilizam estimadores não paramétricos baseados em kernel para a função de distribuição condicional de $(Y_L, Y_U)$ dado $X$.
• Provas de consistência uniforme são fornecidas para cenários de censura aleatória e censura fixa (brackets discretos). Para censura fixa, propõem uma versão aproximada do problema de otimização para garantir a consistência do estimador.

C. Inferência Conformal para Validação em Amostra Finita

• Para garantir cobertura válida em amostras finitas (independente da distribuição subjacente), aplicam a Inferência Conformal (Split Conformal Prediction).
• Nova Função de Conformidade (Score): Desenvolvida especificamente para dados intervalares.
  • Para um intervalo predito $[t_0, t_1]$ e um intervalo observado $[y_L, y_U]$, o score é definido como:
    $$s(y_L, y_U, x) = \max \{ t_0(x) - y_L, y_U - t_1(x) \}$$
  • O score é não positivo se e somente se o intervalo predito contém o intervalo observado. Isso penaliza tanto a subcobertura quanto a sobrecobertura.
• O conjunto de predição conformal $\tilde{C}$ é construído ajustando os limites do estimador inicial $\hat{C}$ usando o quantil $(1-\alpha)(1+1/n)$ dos scores calculados em um conjunto de calibração.
• O método é estendido para conjuntos compostos por múltiplos intervalos disjuntos, ajustando uniformemente os limites de cada intervalo ou usando uma métrica de distância mínima.

3. Contribuições Chave

1. Caracterização Teórica: Estabelecem a definição e a caracterização do conjunto de predição órfão sob identificação parcial induzida por censura intervalar, mostrando que ele pode ser estimado via otimização sobre a distribuição dos limites observados.
2. Generalidade da Forma: Permitem que o conjunto de predição seja uma união de múltiplos intervalos disjuntos, capturando estruturas de densidade multimodal que métodos de regressão de quantis (que forçam um único intervalo) perderiam.
3. Validade em Amostra Finita: Desenvolvem um procedimento de inferência conformal adaptado para dados intervalares, garantindo cobertura válida em amostras finitas sem assumir a forma da distribuição de $Y$.
4. Robustez: O método não requer especificação do mecanismo de censura (não assume "Missing at Random" ou modelos de imputação), tornando-o robusto a erros de especificação.
5. Aplicações Empíricas: Demonstram a utilidade prática em dois conjuntos de dados reais:
   • Anúncios de Vagas no Reino Unido (Adzuna): Predição de faixas salariais condicionadas à localização geográfica e categoria de emprego, lidando com dados salariais reportados como intervalos.
   • Current Population Survey (CPS) dos EUA: Predição de renda baseada em educação e experiência, lidando com não-resposta e reportes em faixas de renda.

4. Resultados

• Simulações (Monte Carlo):

  • Os métodos propostos demonstram propriedades de cobertura robustas em amostras finitas, atingindo o nível nominal ($1-\alpha$).
  • Em termos de volume (eficiência), os conjuntos de predição propostos são significativamente menores do que os construídos via regressão de quantis conformal (CQR), especialmente quando a distribuição condicional é multimodal (Modelo A e B das simulações).
  • O método lida bem com censura fixa e aleatória.

• Aplicações Empíricas:

  • UK Job Data: O estudo revela heterogeneidade geográfica significativa. Londres e grandes centros metropolitanos exibem intervalos de predição muito mais largos (maior dispersão salarial) do que áreas rurais. O método captura a cauda direita da distribuição de salários de forma mais rica do que estimadores pontuais.
  • US CPS: A comparação entre dados censurados (intervalares) e dados imputados mostra diferenças substanciais. A imputação tende a subestimar a cobertura real em amostras de teste, enquanto o método proposto mantém a validade. A inclusão de dados intervalares altera significativamente a cauda direita da distribuição de renda predita.

5. Significado e Impacto

Este trabalho preenche uma lacuna importante na interseção entre econometria de identificação parcial e aprendizado de máquina (inferência conformal).

• Para a Econometria: Oferece uma alternativa robusta aos métodos de imputação para dados intervalares, evitando viés de especificação de modelo.
• Para a Ciência de Dados: Introduz uma nova função de score para inferência conformal que é capaz de lidar com incerteza intrínseca na observação da variável resposta (intervalos), não apenas com ruído de medição.
• Prática: Permite que pesquisadores e formuladores de políticas construam intervalos de predição que são estatisticamente válidos (garantia de cobertura) e eficientes (menor volume), fornecendo uma visão mais completa da incerteza preditiva em cenários onde dados exatos não estão disponíveis.

O código Python para replicação dos experimentos e aplicações empíricas está disponível publicamente, facilitando a adoção do método pela comunidade.