Uncertainty-aware Language Guidance for Concept Bottleneck Models

Este artigo propõe um novo método de Modelos de Gargalo de Conceitos (CBMs) que quantifica rigorosamente a incerteza das anotações geradas por Grandes Modelos de Linguagem (LLMs) e a incorpora no processo de treinamento para mitigar alucinações e melhorar a confiabilidade, validado experimentalmente em conjuntos de dados reais.

O essencial

Imagine que você está tentando ensinar um computador a reconhecer animais, como um "albatroz-fumê" ou um "pato".

Os computadores modernos (redes neurais) são incríveis nisso, mas eles são como caixas-pretas: você joga uma foto dentro e eles dão o nome do animal, mas não explicam por que chegaram a essa conclusão. É como um mágico que faz um truque sem revelar o segredo. Em áreas importantes (como medicina ou justiça), isso é perigoso, pois precisamos confiar no "porquê" da decisão.

Para resolver isso, os cientistas criaram os Modelos de Gargalo de Conceitos (CBMs). A ideia é simples: em vez de pular direto para a resposta, o computador primeiro identifica características simples e humanas, como "tem bico amarelo", "tem penas pretas" ou "tem asas grandes". Só depois ele junta essas pistas para dizer: "É um albatroz!". Isso torna o processo transparente.

O Problema: O "Estagiário" Alucinado

O grande problema desses modelos é que, para funcionar, precisamos de alguém para dizer ao computador quais são essas características. Tradicionalmente, isso exigia especialistas humanos (como biólogos), o que é caro e demorado.

Recentemente, tentamos usar Inteligências Artificiais de Texto (LLMs), como o GPT, para fazer esse trabalho de "estagiário". O LLM lê a foto e diz: "Ah, este pássaro tem bico amarelo e penas cinzas!".

Mas aqui está o perigo: LLMs às vezes alucinam. Eles podem inventar características que não existem (como dizer que o pássaro tem "olhos vermelhos" quando na verdade são pretos) ou repetir a mesma coisa de várias formas. Além disso, os métodos antigos tratavam essas respostas como verdades absolutas, sem perguntar: "E se o LLM estiver errado?". Se o computador aprender com mentiras, ele vai tomar decisões erradas.

A Solução: O "Chefe" Cético e o "Treinador" Criativo

Os autores deste artigo propuseram uma nova maneira de usar esses LLMs, chamando-a de ULCBM. Eles usam duas estratégias inteligentes, que podemos comparar a um Chefe Cético e um Treinador Criativo.

1. O Chefe Cético (Quantificação de Incerteza)

Em vez de aceitar tudo o que o LLM diz, o novo método age como um chefe rigoroso que não confia cegamente no estagiário.

• A Analogia: Imagine que o LLM é um estagiário que lista 10 características para um pássaro. O "Chefe" (o novo algoritmo) usa uma ferramenta matemática chamada Predição Conformada (uma espécie de régua de confiança) para verificar cada item.
• Como funciona: O chefe testa o estagiário em um conjunto de fotos de exemplo. Ele pergunta: "Qual a chance de você estar errado?". Se o estagiário diz "tem bico amarelo" mas o modelo tem 90% de certeza de que é falso, o chefe descarta essa informação.
• Os Três Critérios: O chefe verifica três coisas antes de aceitar uma característica:
  1. Discriminação: Essa característica ajuda a diferenciar este pássaro dos outros? (Se todos os pássaros têm "asas", isso não ajuda a identificar o albatroz especificamente).
  2. Cobertura: O conjunto de características cobre tudo o que é importante? (Não podemos esquecer as pernas, o bico e as penas).
  3. Diversidade: Estamos repetindo a mesma coisa? (Se o estagiário diz "penas pretas" e "corpo escuro", o chefe percebe que é redundante e pede para simplificar).

O resultado é um conjunto de características garantido como confiável, com uma "etiqueta de risco" que diz exatamente o quão provável é que estejam erradas.

2. O Treinador Criativo (Aumento de Dados Direcionado)

Aqui surge outro problema: ao filtrar tudo com tanto rigor, o computador pode ficar com poucas informações sobre características raras.

• A Analogia: Imagine que você está ensinando um aluno a reconhecer um animal raro. O "Chefe Cético" diz: "Só vamos usar a característica 'cauda azul' se tivermos 100 exemplos". Mas, na natureza, só existem 5 fotos com essa cauda azul. O computador fica sem aprender sobre isso.

Para resolver isso, o método usa um Treinador Criativo:

• A Solução: O sistema percebe que falta exemplos para a característica "cauda azul". Em vez de desistir, ele cria novos exemplos artificiais! Ele pega um pedaço de uma foto real onde a cauda azul aparece (com certeza) e "cola" (digitalmente) essa parte em outras fotos do mesmo animal, em lugares onde não há outras características importantes.
• O Resultado: O computador agora tem muitos exemplos para aprender sobre a característica rara, mas sem inventar dados falsos. Ele aprende com dados sintéticos que respeitam a realidade.

Por que isso é importante?

1. Segurança: Não confiamos em "alucinações" da IA. Temos garantias matemáticas de que as características usadas são confiáveis.
2. Eficiência: Conseguimos usar a velocidade da IA para gerar conceitos, mas com a precisão de um especialista humano.
3. Justiça: O modelo não ignora características raras ou difíceis de encontrar; ele as reforça com dados inteligentes.

Em resumo:
Os autores criaram um sistema onde a IA ajuda a criar o "manual de instruções" para o computador, mas com um filtro de segurança que remove erros e um assistente de treino que cria exemplos extras para garantir que o computador aprenda tudo o que precisa, mesmo quando os dados são escassos. É como ter um estagiário superinteligente, mas com um chefe que verifica cada detalhe e um treinador que garante que ele pratique o suficiente para não errar no dia da prova.

Resumo técnico

1. Problema e Motivação

Os Modelos de Gargalo de Conceitos (CBMs) são uma classe de redes neurais projetadas para serem inerentemente interpretáveis. Eles mapeam entradas (imagens) para conceitos semânticos de alto nível compreensíveis por humanos antes de realizar a classificação final. No entanto, a adoção prática dos CBMs é limitada pela necessidade de anotações manuais de conceitos por especialistas, o que é caro e não escalável.

Para superar isso, trabalhos recentes utilizaram Grandes Modelos de Linguagem (LLMs) para gerar conceitos automaticamente. Contudo, esses métodos enfrentam duas limitações críticas:

1. Ignorância da Incerteza: Eles tratam os conceitos gerados por LLMs como rótulos determinísticos, ignorando o risco de alucinações (conceitos irrelevantes ou imprecisos) e não quantificam a confiabilidade dessas anotações.
2. Falha na Integração da Incerteza: Mesmo quando gerados, os métodos existentes não incorporam a incerteza dessas anotações no processo de treinamento do CBM. Isso leva a sinais de supervisão ruidosos e perda de informação valiosa sobre a variabilidade da confiabilidade dos conceitos.

Além disso, quantificar essa incerteza com garantias teóricas é desafiador, pois os processos de anotação por LLMs muitas vezes violam a suposição de dados independentes e identicamente distribuídos (i.i.d.), exigindo métodos que não dependam de distribuições específicas.

2. Metodologia Proposta (ULCBM)

Os autores propõem o ULCBM, um framework que integra a quantificação rigorosa de incerteza com um pipeline de aumento de dados direcionado. A metodologia divide-se em duas etapas principais:

A. Geração de Conceitos com Consciência de Incerteza e Garantia Livre de Distribuição

O objetivo é gerar anotações de conceitos que satisfaçam garantias formais de risco sem assumir uma distribuição de dados específica.

• Geração Inicial: Um LLM gera conceitos candidatos para cada classe. Um detector de objetos grounded (Grounding-DINO) localiza essas ideias nas imagens.
• Definição de Três Critérios de Qualidade: Para filtrar e selecionar os conceitos, são definidas três funções de perda complementares:
  1. Discriminabilidade: Garante que os conceitos selecionados sejam altamente específicos para a classe verdadeira da imagem, em detrimento de outras classes.
  2. Cobertura (Coverage): Assegura que o conjunto de conceitos selecionados cubra todo o escopo semântico da classe (evitando que fiquem concentrados em uma única região semântica).
  3. Diversidade: Penaliza a redundância semântica entre os conceitos selecionados (evitando sinônimos ou sobreposições).
• Calibração via Conformal Prediction (CP): Em vez de otimização direta (que é não diferenciável e carece de garantias), o método utiliza um conjunto de calibração para selecionar um limiar global ($\hat{\lambda}$).
  • Utilizando a Predição Conformal, o método calcula o limiar mais conservador que garante que o risco esperado de cada perda (discriminabilidade, cobertura, diversidade) permaneça abaixo de um nível de risco especificado pelo usuário ($\alpha$).
  • Isso fornece garantias teóricas livres de distribuição (distribution-free guarantees) para a qualidade dos conceitos gerados.

B. Pipeline de Aumento de Dados Direcionado (Targeted Data Augmentation)

Após a filtragem rigorosa, conceitos esparsos (que aparecem em poucas imagens devido à alta confiabilidade exigida) podem levar a sinais de supervisão insuficientes.

• Síntese de Amostras: O método identifica conceitos esparsos e sintetiza novas amostras de treinamento.
• Inserção de Patches: Patches visuais representativos desses conceitos são extraídos de outras imagens e inseridos em imagens alvo.
• Restrição Espacial Guiada pela Incerteza: A inserção é estritamente guiada pela incerteza calculada. O patch é inserido em uma janela que evita sobrepor conceitos já existentes e confiáveis (filtrados pelo limiar $\hat{\lambda}$). Isso garante que o novo sinal de supervisão não interfira na estrutura lógica já estabelecida pelos conceitos de alta confiança.

C. Treinamento do CBM

O modelo é treinado no conjunto de dados aumentado ($\hat{D}_{tr}^{aug}$) minimizando uma função de perda combinada:

• Perda de Entropia Cruzada Binária (BCE) para a previsão dos conceitos.
• Perda de Entropia Cruzada (CE) para a previsão final da classe.
• Regularização Elastic-Net para promover esparsidade e robustez.

3. Contribuições Principais

1. Quantificação de Incerteza com Garantias Formais: Introdução de um método que quantifica a incerteza de anotações de LLMs usando Predição Conformal, oferecendo garantias de cobertura de risco sem depender de suposições de distribuição (i.i.d.).
2. Mecanismo de Seleção de Conceitos Tripartite: Desenvolvimento de um sistema que otimiza simultaneamente a discriminabilidade, cobertura e diversidade dos conceitos, garantindo anotações precisas, abrangentes e não redundantes.
3. Aumento de Dados Orientado à Incerteza: Proposta de uma técnica inovadora para mitigar a escassez de dados em conceitos raros, inserindo patches de forma inteligente guiada pelas métricas de incerteza, preservando a integridade espacial dos conceitos existentes.
4. Análise Teórica: Provas formais de que o procedimento de calibração garante que as perdas esperadas satisfaçam os níveis de risco prescritos.

4. Resultados Experimentais

Os autores avaliaram o ULCBM em três conjuntos de dados do mundo real: CIFAR-10, CIFAR-100 e CUB (Caltech-UCSD Birds).

• Validade (Conformidade às Restrições): O método demonstrou consistentemente que as perdas empíricas (discriminabilidade, cobertura, diversidade) permaneceram abaixo dos níveis de risco desejados ($\alpha$), ao contrário de baselines como LaBo e VLG-CBM, que falharam em atender a essas restrições.
• Precisão de Conformidade de Conceitos (CCA): O ULCBM obteve a maior taxa de amostras que foram corretamente classificadas e simultaneamente atenderam a todos os três critérios de qualidade de conceito, superando os baselines em toda a faixa de números de conceitos efetivos.
• Precisão de Teste:
  • O modelo alcançou a melhor precisão geral e, mais importante, a melhor precisão na pior classe (worst-class accuracy).
  • No dataset CUB, o ULCBM com aumento de dados atingiu 25.0% na precisão da pior classe, superando significativamente o LaBo (16.7%) e o VLG-CBM (20.0%), demonstrando que o tratamento da escassez de dados via aumento direcionado é crucial para a robustez do modelo.

5. Significado e Impacto

O trabalho representa um avanço significativo na interseção entre IA Interpretável e Modelos de Linguagem.

• Confiabilidade: Ao tratar a incerteza dos LLMs de forma rigorosa e teórica, o ULCBM reduz o risco de propagar alucinações para modelos de decisão crítica.
• Escalabilidade: Permite a criação de CBMs escaláveis sem a necessidade de anotação manual massiva, mantendo a qualidade e a interpretabilidade.
• Robustez: A estratégia de aumento de dados baseada em incerteza resolve um problema fundamental de desequilíbrio de dados em modelos de conceitos, garantindo que conceitos raros, mas informativos, não sejam ignorados durante o treinamento.

Em suma, o ULCBM estabelece um novo padrão para o uso de LLMs na geração de conceitos para modelos interpretáveis, garantindo que a automação não comprometa a precisão, a confiabilidade ou a fundamentação teórica do sistema.