ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

Resumo Técnico: Predição Conformal Normalizada por Episódio (ENCP) para Navegação de Visão e Linguagem

1. Definição do Problema

A Navegação de Visão e Linguagem (VLN) permite que agentes incorporados naveguem em ambientes físicos utilizando instruções de linguagem natural. Um desafio crítico para implantar esses agentes de forma segura é a estimativa de incerteza. A navegação sequencial é propensa a erros cumulativos; uma única ação incorreta altera o estado do agente e as observações subsequentes, podendo levar à falha da tarefa ou colisões físicas.

Embora as políticas modernas de VLN alcancem altas taxas de sucesso, as métricas de confiança padrão (ex: probabilidades softmax) são frequentemente não calibradas e excessivamente confiantes, particularmente quando os ambientes de implantação diferem dos dados de treinamento. Mecanismos de automonitoramento existentes dependem de heurísticas empíricas em vez de garantias formais.

A Predição Conformal (CP) oferece um arcabouço estatístico para gerar conjuntos de predição com cobertura garantida (ou seja, o conjunto contém a ação correta com probabilidade $1-\alpha$). No entanto, a CP padrão assume pontos de dados intercambiáveis. Em VLN, essa premissa falha porque:

1. Dependência de Passo: As ações dentro de um único episódio são estatisticamente dependentes devido ao histórico compartilhado e à influência causal nas observações futuras.
2. Comprimento Variável: Os episódios possuem comprimentos diferentes.
3. Falha da Calibração Agrupada por Passo: Aplicar a CP padrão a passos individuais (agrupados entre episódios) falha em fornecer uma garantia de que a ação correta será incluída em cada passo de uma rota. Frequentemente, ocorre subcobertura, o que significa que a taxa de erro real excede o nível de risco alvo $\alpha$.

2. Metodologia: Predição Conformal Normalizada por Episódio (ENCP)

Os autores propõem a ENCP, um arcabouço de pós-treinamento que mantém a política de navegação subjacente inalterada. A ENCP aborda os problemas de dependência e comprimento variável deslocando a unidade de calibração do passo individual para o episódio completo.

Mecanismos Centrais:

1. Calibração ao Nível do Episódio: Em vez de calibrar em um pool de passos individuais, a ENCP agrega os escores de não conformidade de todos os passos dentro de um único episódio em um único valor escalar. Especificamente, ela calcula o máximo escore de não conformidade normalizado de todo o episódio. Este valor único representa o desvio de "pior caso" para aquela trajetória.
2. Normalização de Escore Ajustada por Confiança: Para lidar com a confiança variável da política entre os passos, a ENCP reescala o escore de não conformidade base ($s_{base}$) pela confiança residual da política.
   • Variante livre de parâmetros: Utiliza um peso fixo $w(x_t) = 1 - p_{max}(x_t)$, onde $p_{max}$ é a maior probabilidade atribuída pela política. O escore normalizado é:
     $$s_{norm}(x_t, a) = \frac{s_{base}(x_t, a)}{1 + (1 - p_{max}(x_t))} = \frac{s_{base}(x_t, a)}{2 - p_{max}(x_t)}$$
   • Variante baseada em aprendizado: Utiliza uma rede neural para prever pesos baseados em características como entropia, lacunas de probabilidade e índice do passo, treinada para identificar passos onde a política é confiante, mas incorreta.
3. Geração de Conjunto de Predição:
   • Um limiar conformal $\hat{q}(\alpha)$ é calculado a partir da distribuição dos escores máximos do nível do episódio em um conjunto de calibração.
   • No tempo de teste, para cada passo $t$, o conjunto de predição $C_\alpha(x_t)$ inclui todas as ações $a$ onde $s_{norm}(x_t, a) \le \hat{q}(\alpha)$.
   • Regra de Agir-ou-Perguntar (Act-or-Ask): Se o tamanho do conjunto de predição $|C_\alpha(x_t)|$ exceder um orçamento definido pelo usuário $\tau$, o agente solicita assistência humana (ou delega a um simulador). Caso contrário, ele prossegue autonomamente.

Garantia Teórica:
Sob a premissa de que os episódios de calibração e teste são intercambiáveis (ex: extraídos da mesma distribuição), a ENCP garante que a ação de verdade será incluída no conjunto de predição em cada passo de um episódio de teste com probabilidade de pelo menos $1-\alpha$. Isso fornece cobertura simultânea da trajetória, uma garantia mais forte do que a cobertura passo a passo.

3. Principais Contribuições

1. Identificação da Falha da CP Padrão: O artigo demonstra que a CP de divisão por passo (step-pooled CP) falha em satisfazer as garantias de cobertura em VLN devido às dependências intra-episódio, resultando frequentemente em subcobertura severa.
2. Desenvolvimento da ENCP: Os autores introduzem um método de calibração ao nível do episódio que reescala os escores pela confiança da política e os agrega via operador de máximo. Esta construção assegura a cobertura simultânea ao longo de toda a trajetória.
3. Validação Empírica: O método é avaliado em quatro políticas de VLN (DUET, HAMT, R-prev, R-osc) em dois conjuntos de dados (R2R e REVERIE). O estudo inclui:
   • Verificação dos alvos de cobertura de passo em divisões de "visto-para-não-visto" (seen-to-unseen).
   • Comparação entre esquemas de ponderação livres de parâmetros e baseados em aprendizado.
   • Um experimento de busca de ajuda simulado demonstrando como o tamanho do conjunto de predição pode disparar a intervenção humana para melhorar as taxas de sucesso.

4. Resultados

• Alvos de Cobertura: Em todas as políticas testadas e escores de não conformidade (THR, APS, RAPS) nos splits de validação "unseen" de R2R e REVERIE, a ENCP atingiu com sucesso os alvos de cobertura de passo empícos (ex: alcançando $\ge 90\%$ de cobertura para $\alpha=0.10$) sob divisões intercambiáveis. Em contraste, a CP de divisão por passo padrão apresentou consistentemente subcobertura.
• Mudança de Distribuição: O artigo observa explicitamente que, embora a ENCP atinja os alvos sob divisões intercambiáveis, a cobertura cai no cenário "visto-para-não-visto" (onde a calibração ocorre em edifícios vistos e o teste em edifícios não vistos). Neste cenário, a intercambiabilidade de episódio não é assumida, e a garantia formal de cobertura não se sustenta estritamente, embora a ENCP ainda supere a CP padrão.
• Variantes de Ponderação: O esquema de ponderação livre de parâmetros (usando $1-p_{max}$) alcançou cobertura comparável à variante baseada em aprendizado, mas resultou em conjuntos de predição menores e não exigiu ajuste adicional de modelo.
• Utilidade de Busca de Ajuda: Em uma simulação onde o agente delega a um "oráculo" de verdade fundamental quando o tamanho do conjunto de predição excede um limiar $\tau$, a taxa de sucesso melhorou significamente. Por exemplo, no modelo DUET, reduzir o limiar para disparar mais consultas aumentou a taxa de sucesso de 71,2% (sem ajuda) para 98,8% (consultando em cada conjunto que não fosse singleton), embora com uma "taxa de pedido" mais alta.

5. Significância e Alegações

O artigo afirma que a ENCP fornece um método agnóstico ao modelo para quantificação de incerteza em VLN que oferece garantias de cobertura de amostra finita sobre trajetórias dependentes e de comprimento variável.

• Segurança e Confiabilidade: Ao fornecer um conjunto de predição estatisticamente válido, a ENCP permite que agentes identifiquem passos não confiáveis e deleguem assistência humana antes que os erros se acumulem, abordando uma lacuna crítica de segurança.
• Implantação Prática: O tamanho do conjunto de predição serve como um sinal prático para intervenção. Os autores argumentam que isso permite um equilíbrio ajustável entre autonomia e segurança, permitindo que os agentes "saibam quando não sabem".
• Limitações: Os autores observam modestamente que a avaliação em loop fechado depende de um oráculo simulado em vez de operadores humanos. Além disso, o método assume um espaço de ação finito, e a garantia de cobertura é marginal sobre a distribuição do episódio, o que significa que pode não se manter perfeitamente sob mudanças significativas de distribuição (ex: edifícios não vistos) sem recalibração, conforme evidenciado pela queda observada na cobertura no cenário visto-para-não-visto.

Em resumo, a ENCP preenche a lacuna entre as garantias teóricas de incerteza e a natureza sequencial prática da VLN, oferecendo um mecanismo robusto para a implantação segura de agentes.