Resumo Técnico: Quando o Controle de Risco Conformal Pode Certificar Saídas de LLMs?

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) estão sendo cada vez mais implantados para tarefas de geração estruturada — como Reconhecimento de Entidades Nomeadas (NER), extração de JSON, Question Answering (QA) e classificação — onde as saídas devem aderir a um esquema específico e podem ser avaliadas em relação à verdade fundamental (ground truth). No entanto, esses modelos carecem de garantias formais de confiabilidade. Métodos padrão de quantificação de incerteza (ex: probabilidades de tokens, limiares de entropia) são frequentemente descalibrados para perdas estruturadas, e políticas de abstenção heurísticas frequentemente falham em atingir os alvos de risco especificados pelo usuário em 7,5–12,5%.

O problema central abordado é determinar quando o Controle de Risco Conformal (CRC) pode certificar formalmente que as saídas estruturadas de um LLM atendem a um alvo de risco $\alpha$ definido pelo usuário (ex: "taxa de erro $\le 10\%$"), e quando tal certificação é comprovadamente impossível, independentemente do método utilizado.

2. Metodologia

2.1. Configuração do Problema

Os autores definem um preditor seletivo que emite uma previsão $\hat{y}$ se uma pontuação de confiança $s(x, \hat{y}) \ge \lambda$ e abstém-se caso contrário. O objetivo é encontrar um limiar $\lambda^*$ tal que o risco condicional satisfaça:
$$E[R_{task}(\hat{Y}, Y) \mid s(X) \ge \lambda^*] \le \alpha$$
com probabilidade $\ge 1-\delta$, onde $R_{task}$ é um risco específico da tarefa (ex: $1 - F_1$ para NER, $1 - \text{Exact Match}$ para QA).

2.2. Hierarquia de Certificação

O artigo analisa uma hierarquia de limites usados para selecionar $\lambda^*$:

1. Limite de Hoeffding: O limite superior de confiança (UCB) padrão que ignora a variância.
2. Limite de Bernstein Empírico: Incorpora a variância amostral $\hat{\sigma}^2$, fornecendo limites mais estreitos quando a variância é baixa ($\hat{\sigma}^2 < 1/4$).
3. e-CRC (Baseado em Apostas): Utiliza um framework de teste por apostas (testing-by-betting, e-values) para construir um processo de riqueza. Este se adapta totalmente à distribuição empírica via apostas sequenciais, oferecendo o limite mais estreito, particularmente em regimes de escassez de dados.

Os autores provam uma ordenação estrita de limiares certificados: $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$.

2.3. Resultado de Impossibilidade (Teste de Viabilidade)

Uma contribuição teórica central é um limite inferior em forma fechada para a abstenção. Os autores provam que se o risco base $\mu = E[R]$ do modelo na população de implantação exceder o alvo $\alpha$, qualquer método livre de distribuição deve se abster de pelo menos uma fração de exemplos:
$$\text{Abstenção} \ge \frac{\mu - \alpha}{1 - \alpha}$$
Isso serve como um teste de viabilidade: se $\mu > \alpha$, a certificação só é possível rejeitando uma parte significativa dos inputs.

2.4. Inferência Conformal Adaptativa (ACI)

Para abordar o deslocamento de distribuição (distribution shift, onde a distribuição de teste difere do conjunto de calibração), o artigo avalia a ACI. Este método atualiza o limiar online com base no risco observado:
$$\lambda_{t+1} = \lambda_t + \gamma(r_t - \alpha)$$
Isso fornece controle assintótico sob deslocamento, embora não ofereça garantias de amostra finita.

2.5. Fusão de Pontuações (Score Fusion)

Os autores propõem aprender uma pontuação de confiança fundida $\tilde{s}(x)$ via regressão logística em dados de calibração disjuntos, combinando múltiplos sinais (ex: Autoconsistência, Margem de Token, Entropia Semântica). Eles provam que, se a função de fusão for fixa e independente da amostra de calibração do CRC, a garantia de validade do CRC é preservada.

3. Principais Contribuições

1. Resultado de Impossibilidade e Caracterização de Viabilidade: O artigo estabelece que, quando o risco base $\mu > \alpha$, nenhum método livre de distribuição pode certificar saídas sem se abster de $\ge (\mu - \alpha)/(1 - \alpha)$ dos exemplos. Isso fornece uma verificação pré-implantação para determinar se um alvo de risco é alcançável.
2. Hierarquia de Certificação: Os autores estabelecem e verificam empiricamente a hierarquia $\Lambda^*_{Hoeff} \subseteq \Lambda^*_{Bern} \subseteq \Lambda^*_{e-CRC}$. Eles mostram que a transição de Hoeffding para Bernstein gera o maior ganho (+37% de configurações certificadas) em regimes de baixa variância, enquanto o e-CRC oferece valor crítico quando os dados de calibração são escassos (ex: 10% de certificação com 20% de dados vs. 0% para Hoeffding).
3. Adaptação ao Deslocamento: O estudo valida a ACI sob transferência entre datasets, demonstrando uma redução nas violações do alvo de risco de 71% (CRC estático) para 21%. As falhas residuais ocorrem precisamente onde o limite de impossibilidade prevê que uma forte abstenção é necessária.
4. Benchmark Empírico: Uma avaliação abrangente de seis modelos de pesos abertos (3B–72B parâmetros), oito datasets, quatro tarefas e seis pontuações de não conformidade. O estudo descobre que configurações difíceis de NER/QA/CLS são frequentemente não certificáveis em $\alpha=0,10$ rigoroso, mas relaxar $\alpha$ para 0,30–0,40 desbloqueia a certificação prática (47% NER, 40% QA, 60% CLS).

4. Resultados

• Descalibração: LLMs exibem descalibração significativa para tarefas estruturadas. Embora a confiança média seja alta (74–97%), o risco real varia amplamente (3% para JSON a 80% para NQ Open QA).
• Limites de Viabilidade: Em $\alpha=0,10$, as taxas de certificação para NER/QA/CLS são próximas de zero porque $\mu \gg \alpha$. Por exemplo, o NQ Open QA tem $\mu \approx 0,80$, exigindo $\ge 78\%$ de abstenção para atender a um alvo de risco de 10%.
• Desempenho dos Limites:
  • Hoeffding: Certifica 8,7% das configurações.
  • Bernstein: Certifica 11,9% (+37% de ganho sobre Hoeffding).
  • e-CRC: Certifica 12,2%, com a vantagem mais significativa em regimes de baixos dados.
  • Todos os métodos mantêm taxas de violação próximas de zero entre as configurações certificadas.
• Escalabilidade do Modelo: O aumento do tamanho do modelo reduz o risco base $\mu$. Para CoNLL NER, $\mu$ cai de 0,42 (3B) para 0,24 (72B), permitindo a certificação em $\alpha=0,25$ para modelos de 72B onde os de 14B falham.
• Fusão de Pontuações: A fusão calibrada melhora o AUROC em 89% das configurações, com os maiores ganhos em tarefas de classificação e NER, onde as pontuações individuais são mais fracas.

5. Significância e Alegações

O artigo afirma fornecer uma caracterização voltada para a implantação em vez de apenas um novo primitivo conformal. Sua principal significância reside em mudar a pergunta do praticante de "Qual limite é o mais estreito?" para "A certificação é viável?".

• Viabilidade Primeiro: O limite de impossibilidade permite que o praticante calcule a abstenção mínima necessária antes de executar qualquer procedimento CRC. Se a abstenção necessária for inaceitável, o artigo sugere escalar o modelo, relaxar o alvo de risco $\alpha$ ou aceitar uma abstenção pesada.
• Receita Prática: Os autores propõem um framework de implantação de três etapas:
  1. Verificar Viabilidade: Calcular $\mu$; se $\mu > \alpha$, calcular o piso de abstenção.
  2. Selecionar Limite e Pontuação: Usar Bernstein ou e-CRC (nunca Hoeffding) e empregar fusão de pontuações ou Autoconsistência.
  3. Mitigar Deslocamento: Implantar ACI se a distribuição de teste puder diferir da calibração.
• Expectativas Realistas: O trabalho esclarece que para tarefas difíceis (alto $\mu$) e alvos estritos (baixo $\alpha$), a certificação é inerentemente limitada pelo desempenho base do modelo, não pelo método estatístico. Relaxar $\alpha$ para níveis realistas (ex: 0,30–0,40) torna a certificação prática para muitas tarefas estruturadas.

O artigo conclui que, embora o CRC forneça garantias formais, sua utilidade é limitada pelo trade-off fundamental entre o risco base e o risco alvo, uma restrição que nenhum limite estatístico pode superar.