Symmetric Aggregation of Conformity Scores for Efficient Uncertainty Sets

Each language version is independently generated for its own context, not a direct translation.

Imagine que você está tentando prever o tempo amanhã. Em vez de confiar em apenas um meteorologista, você consulta sete especialistas diferentes. Cada um deles faz uma previsão e diz: "Acho que vai chover entre 10h e 14h".

O problema é: como você combina essas sete previsões em uma única resposta que seja confiável e, ao mesmo tempo, não seja um intervalo de tempo gigantesco e inútil?

Se você simplesmente pegar a união de todos os horários (das 8h às 16h), sua previsão será segura (provavelmente correta), mas pouco útil. Se você pegar a interseção (apenas o horário que todos concordam), sua previsão será precisa, mas pode estar errada se um dos especialistas estiver certo e os outros errados.

É aqui que entra o papel dos autores deste artigo: Nabil Alami, Jad Zakharia e Souhaib Ben Taieb. Eles criaram uma nova "receita" chamada SACP para misturar essas previsões de forma inteligente.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O "Barulho" das Previsões

Na inteligência artificial, muitas vezes temos vários modelos (robôs) tentando resolver o mesmo problema. Cada modelo tem sua própria "confiança" e sua própria forma de medir o erro.

O Modelo A diz: "Meu erro é de 5 metros".
O Modelo B diz: "Meu erro é de 500 metros".

Se você tentar somar esses números diretamente, é como tentar somar "5 metros" com "500 quilos". Não faz sentido! Eles estão em escalas diferentes. O método antigo de juntar previsões muitas vezes falhava porque não conseguia comparar "maçãs com maçãs".

2. A Solução Mágica: O "Passaporte" (Valores-e)

A grande inovação do SACP é transformar a "confiança" de cada modelo em um passaporte universal.

Imagine que cada modelo precisa passar pela alfândega. O SACP pega a nota de confiança de cada um e a converte em um documento chamado Valor-e.

A Analogia: Pense no Valor-e como um "ticket de loteria" onde o valor esperado é sempre 1. Se um modelo está muito confiante, seu ticket vale "muito" em termos de probabilidade, mas o SACP normaliza isso para que todos os tickets tenham o mesmo peso inicial.
Isso permite que você pegue a opinião do "Robô 1" e a do "Robô 7" e as coloque na mesma balança, sem que o tamanho do erro de um deles distorça o resultado.

3. A Mistura Simétrica: O "Churrasco" Perfeito

Depois de normalizar as notas, o SACP precisa misturá-las. Eles usam uma função chamada agregação simétrica.

A Analogia: Imagine que você está fazendo um churrasco com 7 amigos. Cada um traz um corte de carne diferente. A regra do SACP é: "Não importa quem trouxe qual carne, nem a ordem em que elas chegam na grelha. O que importa é a soma total do sabor".
Se você trocar a ordem dos amigos, o churrasco fica igual. Isso é "simetria". Isso garante que o resultado final seja justo e não dependa de qual modelo você chamou de "número 1" ou "número 2".

4. O Resultado: A "Caixa de Presente" Perfeita

O objetivo final é criar uma Caixa de Previsão (um intervalo de tempo, uma lista de classes possíveis, etc.).

Caixa muito grande: "Vai chover em algum momento entre 6h da manhã e 10 da noite". (Seguro, mas chato).
Caixa muito pequena: "Vai chover exatamente às 13h". (Preciso, mas arriscado).

O SACP consegue criar uma caixa que é apertada o suficiente para ser útil, mas grande o suficiente para garantir que a resposta certa esteja dentro dela.

Eles provaram matematicamente que, não importa como você misture essas notas (desde que use a regra simétrica), a caixa final sempre terá uma garantia de segurança (cobertura). E, melhor ainda, eles criaram uma versão chamada SACP++ que "aprende" qual é a melhor maneira de misturar as notas para deixar a caixa o menor possível.

Por que isso é importante?

Em situações de alto risco (como prever falhas em aviões, diagnósticos médicos ou decisões financeiras), não basta o robô acertar a resposta; ele precisa dizer quão certo ele está.

O SACP permite que várias inteligências artificiais trabalhem juntas como um "conselho de sábios", onde:

Ninguém é ignorado.
Ninguém domina o grupo por ter números maiores.
A resposta final é a mais precisa possível, mantendo a segurança de que o erro não vai acontecer.

Em resumo: O SACP é como um tradutor universal e um maestro que organiza uma orquestra de modelos de IA. Ele garante que todos toquem na mesma escala (normalização), que a música seja justa (simetria) e que o resultado final seja uma melodia perfeita (uma previsão precisa e segura), em vez de um ruído confuso.

Each language version is independently generated for its own context, not a direct translation.

1. O Problema

Com o aumento da disponibilidade de múltiplos modelos preditivos treinados para a mesma tarefa (seja em regressão ou classificação), surge a necessidade crítica de agregar suas incertezas preditivas. Embora métodos de Conformal Prediction (CP) existam para gerar conjuntos de previsão com garantias de cobertura finitas e livres de distribuição, a integração de múltiplos modelos dentro deste framework permanece um desafio subexplorado.

Os principais problemas identificados são:

Ineficiência na Agregação: Métodos existentes que combinam conjuntos de previsão (como interseção ou união) ou que usam votação majoritária frequentemente resultam em conjuntos de previsão muito grandes (pouco informativos) ou perdem as garantias exatas de cobertura.
Limitações dos Métodos Atuais: Abordagens que agregam diretamente as pontuações de não conformidade (NCS) muitas vezes exigem divisões adicionais dos dados de calibração, dependem de hiperparâmetros complexos ou não utilizam todos os dados disponíveis de forma eficiente.
Falta de Comparação Sistemática: A literatura carece de uma comparação abrangente entre estratégias de agregação, deixando as vantagens e limitações relativas pouco claras.

O objetivo é desenvolver um método que agregue as previsões de múltiplos modelos para produzir um único conjunto de previsão mais estreito (mais eficiente), mantendo a garantia de cobertura marginal exata ($1-\alpha$).

2. Metodologia: SACP (Symmetric Aggregated Conformal Prediction)

Os autores propõem o SACP, um método inovador que opera em duas etapas principais para agregar pontuações de não conformidade (NCS) de $K$ preditores base.

A. Transformação em E-variáveis

A primeira etapa normaliza as pontuações brutas de cada modelo transformando-as em e-variáveis (e-variables).

Inspirado em avanços recentes em CP baseada em e-valores, o método transforma a pontuação de não conformidade $s^{(k)}$ do $k$ -ésimo modelo em uma variável aleatória não negativa com esperança unitária sob a hipótese nula (que o rótulo de teste é o verdadeiro).
Para um candidato a rótulo $y$ e um ponto de calibração $i$ , a e-variável é definida como:
$E_i^{(k)}(y) = \frac{s^{(k)}(X_i, Y_i)}{\frac{1}{n+1} \left( \sum_{j=1}^n s^{(k)}(X_j, Y_j) + s^{(k)}(X_{test}, y) \right)}$
Vantagem: Essa transformação padroniza as pontuações de diferentes modelos (que podem ter escalas ou distribuições distintas) para uma escala comum (esperança = 1), permitindo uma agregação justa.

B. Agregação Simétrica

A segunda etapa combina as e-variáveis de todos os $K$ modelos utilizando uma função de agregação simétrica $f: \mathbb{R}^K \to \mathbb{R}$ .

A função $f$ deve ser simétrica, ou seja, invariante à permutação dos índices dos modelos ( $f(x_1, ..., x_K) = f(x_{\sigma(1)}, ..., x_{\sigma(K)})$ ).
Exemplos de funções consideradas incluem somas de potências (como $\sum x_k^p$ ), onde o parâmetro $p$ controla a estratégia de agregação (ex: $p \to \infty$ aproxima-se do máximo, $p \to -\infty$ do mínimo).
O conjunto de previsão final é construído calculando o quantil empírico das pontuações agregadas no conjunto de calibração e aplicando-o ao teste.

C. SACP++ (Otimização de Eficiência)

Para maximizar a eficiência (minimizar o tamanho do conjunto), os autores propõem uma variante chamada SACP++.

Em vez de fixar a função de agregação, o SACP++ realiza uma busca em grade sobre o parâmetro $p$ (em uma classe paramétrica de funções) utilizando o conjunto de teste (não rotulado) para encontrar o valor que minimiza o tamanho médio do conjunto de previsão.
Garantia Teórica: Como a cobertura é garantida para qualquer função simétrica (Teorema 3.3), a seleção do melhor $p$ baseada nos dados preserva a validade da cobertura enquanto otimiza a eficiência.

3. Contribuições Principais

Novo Framework de Agregação: Introdução do SACP, o primeiro método a realizar agregação simétrica no nível das pontuações (scores) com garantia de cobertura $1-\alpha$, sem exigir divisão adicional do conjunto de calibração.
Abordagem Baseada em E-variáveis: Uso de e-variáveis para normalizar pontuações heterogêneas, permitindo a combinação justa de modelos com escalas diferentes.
Análise Teórica:
- Prova de que a cobertura marginal é mantida para qualquer função de agregação simétrica.
- Derivação de um limite superior (worst-case bound) para o tamanho do conjunto de previsão em tarefas de regressão.
- Demonstração de que a dependência de certas transformações monotônicas pode ser eliminada na construção do conjunto.
Método Adaptativo (SACP++): Uma estratégia orientada à eficiência que seleciona automaticamente a melhor função de agregação para minimizar o tamanho do conjunto, superando os preditores individuais e outras técnicas de agregação.

4. Resultados Experimentais

Os autores realizaram extensos experimentos em tarefas de regressão (conjuntos de dados OpenML) e classificação (CIFAR-10 e MNIST), comparando o SACP e SACP++ com quatro baselines principais:

Wagg: Agregação ponderada de pontuações.
CSA: Agregação baseada em quantis multivariados.
CM/CR: Votação majoritária (determinística e aleatória) sobre conjuntos de previsão.
BL: Seleção do melhor modelo individual.

Principais Achados:

Cobertura: O SACP e SACP++ atingiram consistentemente o nível de cobertura empírica alvo ($1-\alpha$) em todos os datasets. Métodos como CM e CR tendiam a ser excessivamente conservadores (cobertura muito alta, conjuntos grandes), enquanto o CSA às vezes subcobria.
Eficiência (Tamanho do Conjunto):
- O SACP++ foi o método mais eficiente em geral, produzindo os conjuntos de previsão mais curtos.
- Em classificação (CIFAR-10 e MNIST), o SACP++ produziu consistentemente os menores conjuntos entre todos os métodos comparados, com menor variância.
- Em regressão, o SACP++ superou o melhor modelo individual (BL) em 5 dos 9 datasets e obteve o melhor desempenho global entre métodos de agregação em 7 dos 9 datasets.
Estabilidade: O método demonstrou robustez ao variar o número de modelos base ( $K$ ) e os níveis de significância ( $\alpha$ ).

5. Significado e Impacto

Este trabalho preenche uma lacuna importante na interseção entre aprendizado de máquina ensemble e incerteza quantificada.

Praticidade: Oferece uma solução "plug-and-play" para combinar múltiplos modelos de caixa-preta em um único sistema de previsão confiável e eficiente, sem a necessidade de re-treinar modelos ou dividir dados de forma subótima.
Teoria e Prática: A combinação de fundamentos teóricos robustos (baseados em e-valores e troca de variáveis) com uma otimização prática (SACP++) demonstra que é possível melhorar a precisão das previsões sem sacrificar a garantia estatística de cobertura.
Aplicabilidade: É particularmente valioso para aplicações de alto risco (saúde, finanças, autonomia), onde a confiança na previsão e a precisão do intervalo de incerteza são críticas.

Em resumo, o SACP estabelece um novo estado da arte para a agregação de previsões conformais, provando que a agregação inteligente de pontuações de conformidade pode superar tanto modelos individuais quanto métodos de agregação anteriores.