Resumo Técnico: Aquisição de Características Ativa Zero-Shot via Elicitação por LLM

1. Definição do Problema

O artigo aborda a Aquisição de Características Ativa (AFA - Active Feature Acquisition), uma tarefa de decisão sequencial onde um agente deve selecionar quais características observar sob um orçamento limitado para atingir uma decisão de classificação ou classificação (ranking). O gargalo central nos métodos atuais de AFA é sua dependência de grandes conjuntos de dados rotulados para treinar modelos probabilísticos que guiam o processo de aquisição. Esse requisito falha em regimes onde a AFA é mais valiosa: doenças raras, condições recém-caracterizadas ou casos de pacientes atípicos, onde dados rotulados são escassos ou inexistentes.

Os autores propõem a AFA Zero-Shot, um framework que opera sem dados rotulados específicos da tarefa. Eles utilizam Modelos de Linguagem de Grande Escala (LLMs) como uma fonte de conhecimento de domínio não supervisionado para construir os modelos probabilísticos necessários. No entanto, o artigo identifica dois obstáculos fundamentais no uso direto de LLMs para AFA:

1. Deficiência de Planejamento: LLMs são ruins em planejamento sequencial. Eles tendem a realizar correspondência de padrões heurística em vez de raciocinar sobre as implicações em cascata e não locais das correlações de características necessárias para uma ordenação ótima.
2. Problemas de Calibração: LLMs são mal calibrados como objetos probabilísticos formais, tornando-os pouco confiáveis para a modelagem white-box (condicionamento, marginalização, otimização) exigida pela AFA.

O objetivo é preencher essa lacuna separando estritamente os papéis: o LLM fornece o conhecimento (elicitação), enquanto um algoritmo clássico lida com o planejamento sequencial.

2. Metodologia

2.1 Elicitação de MRF Discriminativa

Em vez de pedir ao LLM para gerar distribuições condicionais de classe completas $p(x|H)$ e $p(x|\neg H)$, o que é propenso a erros e ambiguidades, o framework elicita apenas estatísticas discriminativas suficientes para um Campo Aleatório de Markov (MRF). Especificamente, o LLM é consultado para:

• Desvios unários: Como uma característica $j$ desvia sob a hipótese $H=1$ em relação a $H=0$ ($\Delta \alpha_j = \alpha_{j,1} - \alpha_{j,0}$).
• Co-variações pareadas: Como as características $j$ e $l$ co-variam diferencialmente sob as duas hipóteses ($\Delta \psi_{jl} = \psi_{jl,1} - \psi_{jl,0}$).

Esses parâmetros definem um MRF discriminativo onde o escore para uma entidade $v$ é a razão logarítmica:
$$S_v(x) = \sum \Delta \alpha_j x_j + \sum \Delta \psi_{jl} x_j x_l$$
Esta abordagem evita a necessidade de modelar distribuições absolutas de classe, alinhando-se com a natureza discriminativa da literatura médica.

2.2 Resolvendo a Ambiguidade de Gauge (Caso Binário)

Um desafio metodológico crítico surge no cenário de classificação binária: o log-ratio elicitado $S_v$ fixa a razão $p_1/p_0$, mas deixa o "gauge" (a escala absoluta de $p_0$ e $p_1$) indefinido. Os critérios clássicos de AFA (como a Informação Mútua Condicional) requerem distribuições preditivas por classe, que não podem ser computadas apenas a partir da razão.

Os autores resolvem isso via um fechamento de Máxima Entropia (MaxEnt). Entre todos os pares $(p_0, p_1)$ consistentes com o log-ratio elicitado, o framework seleciona o par que maximiza a soma das entropias $H(p_0) + H(p_1)$. Isso resulta em uma reconstrução única e fundamentada das condicionais de classe:
$$p_e(x) \propto \exp\left( (-1)^{e-1} S_v(x) / 2 \right), \quad e \in \{0, 1\}$$
Este fechamento permite a aplicação de critérios de aquisição informacionais padrão no cenário zero-shot.

2.3 Políticas de Aquisição

O framework opera em dois cenários: Classificação Binária e Identificação Top-k (selecionar os $k$ candidatos mais suportados entre $N$ candidatos).

• Scores de Preferência: Para decidir entre hipóteses (ou entidades), o framework utiliza scores de "duelo".
  • Acumulador de Wald: Uma soma determinística e livre de gauge das energias das características observadas. Ele ignora características não observadas, mas é exato em observação total.
  • Scores de Campo Médio (Chernoff-Wald / Sign-Vote): Eles integram sobre características não observadas usando as condicionais de classe reconstruídas (via MaxEnt para binário, elicitação direta para top-k). Eles utilizam a Divergência KL Esperada ou Sign-Vote (stack-A) para pontuar características, fornecendo uma predição "suave" que considera o subgrafo não observado.
• Seleção de Características: O framework avalia as características com base em Informação Mútua Condicional (CMI) ou um novo ganho F-target (melhoria esperada no score de preferência).
• Alocação Top-k: Para ranquear $N$ entidades, os autores introduzem uma regra de Alocação Ponderada por Prioridade. Em vez de avaliar todas as $\binom{N}{2}$ combinações, as entidades são agrupadas no espaço de parâmetros do MRF. O orçamento é alocado para "duelos" (comparações pareadas) que são:
  1. Próximos à fronteira do top-$k$ (alta influência no ranking final).
  2. Ainda não resolvidos (vencedor incerto).
     Isso reduz o espaço combinatório de $O(N^2)$ para $O(K)$, onde $K$ é o número de clusters.

3. Contribuições Principais

1. Primeiro Framework de AFA Zero-Shot: O artigo apresenta o primeiro método para aquisição de características ativa que não requer dados rotulados específicos da tarefa, episódios de RL ou meta-treinamento, baseando-se inteiramente em conhecimento elicitado por LLM.
2. Elicitação Discriminativa e Fechamento MaxEnt: Um protocolo inovador para extrair apenas estatísticas suficientes de LLMs e um fechamento MaxEnt fundamentado para resolver a ambiguidade de gauge resultante, permitendo o uso de critérios clássicos de AFA.
3. Planejamento de Via Dupla para Casos Caóticos: O framework emprega tanto uma trilha de pontuação determinística (Wald) quanto uma probabilística (Mean-Field). Os autores demonstram que para pacientes "caóticos" (onde observações precoces são localmente inconsistentes com o rótulo latente), a trilha Mean-Field, ancorada pela estrutura MRF elicitada, supera significativamente o acumulador de Wald.
4. Política de Top-k Ponderada por Prioridade: Uma estratégia de alocação inovadora para identificação top-k que agrupa entidades e prioriza o orçamento para pares de fronteira, melhorando significativamente a precisão do ranking sobre baselines gananciosos (greedy) ou aleatórios.
5. Quantificação do Gap Conhecimento-Planejamento: Ao comparar um planejador formal usando modelos derivados de LLM contra um planejador de contexto (in-context) de LLM recebendo os mesmos modelos, o estudo isola o déficit de "planejamento" dos LLMs. O algoritmo formal atinge a mesma precisão com muito menos observações, provando que o gargalo é o planejamento, não o conhecimento.

4. Resultados Experimentais

O framework foi avaliado em uma coorte clínica real de 167 pacientes com Doença Inflamatória Intestinal (IBD) com 216 características de expressão gênica e 25 fenótipos clínicos. Os parâmetros do MRF foram elicitados por um LLM cego a esta coorte específica.

• Classificação Binária:
  • Contra a verossimilhança de observação total (o próprio ground truth do modelo), o planejador formal (usando fechamento MaxEnt) atingiu 100% de precisão com observação total e superou significativamente a ordenação aleatória precocemente (ex: +30,6 pontos percentuais em $t=10$).
  • Contra rótulos clínicos, o planejador saturou em ~65% de precisão, refletindo um descompasso irredutível entre o modelo elicitado pelo LLM e a realidade clínica (erro biológico).
  • Baselines de LLM: Baselines diretos de LLM (MRF-LLM e RAG-LLM), recebendo os mesmos parâmetros elicitados, tiveram desempenho significativamente inferior (0,24–0,46 de precisão) ao planejador formal, confirmando a necessidade de separar conhecimento de planejamento.
• Identificação Top-k:
  • Precisão de Sinal (Sign Accuracy): Em pacientes "caóticos" (aqueles com trajetórias de decisão instáveis), o score de linearidade (mean-field) superou o acumulador de Wald por 34,1 pontos percentuais em $t=2$, estreitando apenas conforme mais dados eram observados.
  • Precisão de Ranking: A regra de alocação ponderada por prioridade superou significativamente os baselines aleatórios, gananciosos e agrupados. Em $t=150$, atingiu 0,864 de precisão de sinal, um aumento de 4,7 pontos percentuais sobre o melhor baseline não-prioritário.
  • Ranking Top-5: O framework aproximou-se do teto irredutível definido pelo descompasso MRF-clínico, superando significativamente os baselines de LLM que falharam em utilizar a estrutura elicitada de forma eficaz.

5. Significância e Alegações

O artigo afirma estabelecer uma base matematicamente rigorosa para AFA zero-shot ao separar estritamente o papel do LLM (elicitação de conhecimento) do papel do algoritmo (planejamento sequencial).

• Mudança no Gargalo: Os autores argumentam que o gargalo fundamental na AFA zero-shot mudou da escassez de dados para a fidelidade do conhecimento. O planejador formal é capaz de saturar o sinal biológico disponível; o gap restante entre o desempenho do modelo e o ground truth clínico deve-se às limitações do conhecimento elicitado pelo LLM (alucinações ou simplificações mecanísticas), e não ao algoritmo de planejamento.
• Lidando com Heterogeneidade: O framework demonstra adaptabilidade robusta à heterogeneidade dos pacientes, especificamente gerenciando casos "caóticos" onde as expectativas biológicas padrão falham, ao alavancar os priors estruturais do MRF elicitado.
• Utilidade Prática: O trabalho oferece um caminho viável para suporte diagnóstico automatizado em cenários de doenças raras onde não há dados disponíveis, oferecendo uma alternativa fundamentada à interrogação de especialistas humanos ou modelos de aprendizado de máquina ávidos por dados.

Os autores mantêm a modéstia, reconhecendo que o framework depende da fidelidade da elicitação do LLM e que os LLMs atuais ainda não podem fornecer magnitudes contínuas calibradas, necessitando da discretização das observações em valores ternários.