Resumo Técnico: Conf-Gen: Quantificação Conformal de Incerteza para Modelos Generativos

Declaração do Problema

Avanços recentes em inteligência artificial, particularmente em modelos generativos não supervisionados como Modelos de Linguagem de Grande Escala (LLMs) e geradores de imagens, deslocaram o cenário do aprendizado supervisionado tradicional. No entanto, a quantificação de incerteza (UQ) permanece um desafio crítico para esses sistemas generativos, impedindo sua implantação em domínios de alto risco, como saúde e descoberta científica.

Embora a Predição Conformal (CP) e o Controle de Risco Conformal (CRC) ofereçam frameworks rigorosos e livres de distribuição para UQ no aprendizado supervisionado, eles não são diretamente compatíveis com tarefas generativas. Tentativas existentes de aplicar ideias conformais a modelos generativos são frequentemente altamente específicas de tarefa, dependem de suposições restritivas (como monotonicidade estrita de funções de utilidade) e limitam-se a saídas em forma de conjuntos. Além disso, implementações atuais frequentemente exigem rótulos de verdade fundamental e funções de utilidade invocáveis, que nem sempre estão disponíveis em cenários generativos abertos.

Metodologia: Framework Conf-Gen

Os autores propõem o Conf-Gen (Geração Conformal), um framework geral que adapta o CRC a tarefas generativas, relaxando suas suposições teóricas. O Conf-Gen unifica tentativas anteriores específicas de tarefa e estende a metodologia conformal a novos domínios, incluindo sequências e saídas estruturadas além de conjuntos simples.

Componentes Principais

O framework opera sobre um conjunto de dados de calibração $G_{:n} = \{(X^{(i)}, Y^{(i)}, Y^{(i)}_{GT})\}_{i=1}^n$, onde $X$ é a entrada, $Y$ é uma sequência de gerações e $Y_{GT}$ é uma verdade fundamental opcional. Ele consiste em três componentes principais:

1. Funções de Seleção ($C_\lambda$): Uma família de funções potencialmente estocásticas $C_\lambda: \mathcal{X} \times \mathcal{Y}^* \to \mathcal{S}$, indexadas por um parâmetro $\lambda$. Diferentemente da CP tradicional, que produz conjuntos, $\mathcal{S}$ pode ser sequências ($\mathcal{Y}^*$) ou outras saídas estruturadas. Intuitivamente, valores maiores de $\lambda$ produzem saídas mais conservadoras (por exemplo, sequências mais curtas ou subconjuntos mais estritos) que alcançam maior admissibilidade.
2. Função de Admissibilidade ($A$): Uma função $A: \mathcal{X} \times \mathcal{S} \times \mathcal{Y}_{GT} \to [0, \infty)$ que generaliza a função de utilidade no CRC. Ela mede a qualidade da saída selecionada. Crucialmente, $A$ não precisa ser uma função invocável; pode ser definida por avaliação humana ou procedimentos onde a verdade fundamental é indefinida.
3. Calibração: O método encontra um limiar $\hat{\lambda}$ tal que a admissibilidade média no conjunto de dados de calibração atinge um alvo $\gamma$. Formalmente, $\hat{\lambda} = \inf \{ \lambda \in \Lambda : \bar{A}_n(\lambda) \ge \frac{n+1}{n}\gamma \}$.

Contribuições Teóricas

O Conf-Gen introduz uma definição de instância $\gamma$-sensível que relaxa as suposições do CRC:

• Monotonicidade Relaxada: Em vez de exigir que a função de admissibilidade seja não decrescente quase certamente (um requisito estrito no CRC), o Conf-Gen exige apenas que o mapa $\lambda \mapsto \mathbb{E}[A^{(n+1)}(\lambda) \mid \hat{\lambda}, \lambda^*]$ seja não decrescente na expectativa condicional. Isso permite cenários onde a relação entre $\lambda$ e admissibilidade não é estritamente monótona em cada realização, mas se mantém na expectativa.
• Espaços de Saída Generalizados: O framework suporta saídas além de conjuntos (por exemplo, sequências), permitindo aplicações como selecionar uma subsequência de respostas ou um subconjunto de ações.
• Sem Exigência de Verdade Fundamental: O framework não exige estritamente uma verdade fundamental bem definida $Y_{GT}$ para cada instância, acomodando tarefas abertas onde a admissibilidade é determinada por avaliação humana ou consistência semântica.

Eficiência Computacional

O artigo identifica padrões de design para tornar o Conf-Gen computacionalmente tratável:

• Seleção Baseada em Pontuação: Ao definir $C_\lambda$ com base em pontuações atribuídas a elementos individuais (por exemplo, selecionar elementos onde $S_\downarrow(x, y_t) \le \lambda$), a imagem da função de seleção torna-se finita, permitindo calibração eficiente mesmo com $\Lambda$ infinito.
• Decomposição ao Nível de Instância: Se a função de admissibilidade puder ser decomposta em uma agregação de pontuações ao nível de instância (por exemplo, $A = \text{agg}(A'_1, \dots, A'_T)$), a calibração pode ser realizada avaliando $A'$ em todos os elementos gerados uma única vez, desacoplando a avaliação da escolha de $\lambda$.
• Geração Parcial: Em muitos casos, o sistema pode interromper a geração de uma sequência assim que os critérios de seleção forem atendidos, economizando recursos computacionais.

Contribuições Principais

1. Framework: Propõe o Conf-Gen, um framework rigoroso de UQ para modelos generativos que generaliza o CRC para sequências e saídas estruturadas.
2. Teoria: Relaxa a suposição de monotonicidade do CRC de uma condição quase certa para uma condição de expectativa condicional, ampliando a aplicabilidade a tarefas onde a monotonicidade estrita não se mantém.
3. Software: Fornece um pacote Python flexível (conf-gen) que suporta calibração e inferência eficientes em várias configurações.
4. Validação Empírica: Demonstra a versatilidade do framework em tarefas novas, superando baselines do estado da arte em resposta a perguntas de LLMs e estabelecendo as primeiras garantias conformais para vários novos domínios de aplicação.

Resultados Experimentais

Os autores validam o Conf-Gen em tarefas diversas, mostrando que ele satisfaz garantias conformais (admissibilidade empírica $\ge \gamma$) enquanto mantém utilidade prática (sequências mais curtas ou saídas de maior qualidade em comparação com baselines).

• Resposta a Perguntas de Domínio Aberto: No conjunto de dados TriviaQA, o Conf-Gen produz sequências de respostas mais curtas que a baseline (Quach et al., 2024) enquanto mantém a mesma garantia de cobertura, reduzindo o número de chamadas de LLM necessárias.
• Geração de Imagens Não Memorizadas: Aplicado ao Stable Diffusion, o Conf-Gen seleciona imagens verificadas por avaliadores humanos como "não memorizadas" (ou seja, não cópias de dados de treinamento) com uma probabilidade garantida $\gamma$. Isso aborda riscos de direitos autorais associados a modelos generativos.
• IA Conversacional: O framework garante que um chatbot faça perguntas de esclarecimento suficientes para resolver ambiguidades antes de responder. Os resultados mostram um compromisso onde um $\gamma$ mais alto leva a mais esclarecimentos, mas o sistema não recorre a perguntar o número máximo possível.
• IA Agêntica: Para tarefas baseadas na web (conjunto de dados WebVoyager), o Conf-Gen garante que uma sequência selecionada de trajetórias de agentes contenha pelo menos uma solução bem-sucedida com probabilidade $\gamma$.
• Florestas Aleatórias: O framework é aplicado ao aprendizado supervisionado selecionando um subconjunto de árvores de uma floresta aleatória que garante um número mínimo de previsões corretas, demonstrando a generalidade do método além de modelos generativos.

Significado e Alegações

O artigo alega que o Conf-Gen representa um passo significativo em direção à melhoria da quantificação de incerteza em modelos generativos. Ao relaxar as suposições teóricas do CRC, ele permite a aplicação de garantias conformais a uma gama mais ampla de tarefas generativas, incluindo aquelas sem verdade fundamental ou monotonicidade estrita.

Os autores enfatizam que seu trabalho estabelece uma fundação para novas aplicações conformais, como garantir que imagens geradas não sejam memorizadas e verificar se agentes de IA fizeram perguntas de esclarecimento suficientes. Eles postulam que essas melhorias poderiam aumentar a confiabilidade dos sistemas de IA, facilitando sua implantação em aplicações críticas para a segurança. O artigo mantém um tom modesto quanto ao impacto social, reconhecendo que, embora a UQ possa melhorar a confiabilidade, também poderia potencialmente aprimorar aplicações maliciosas, embora o impacto líquido seja esperado como positivo.

O trabalho não alega resolver todos os desafios de UQ, mas fornece um framework flexível e teoricamente fundamentado que unifica abordagens existentes e abre novas vias para controle rigoroso de incerteza na era da IA generativa.