Resumo Técnico: Treinamento de LLMs com Aprendizado por Reforço sobre Representações de Gêmeos Digitais para VideoQA Cirúrgico Intensivo em Raciocínio

Declaração do Problema

O VideoQA (Question Answering de Vídeo) cirúrgico visa interpretar consultas em linguagem natural sobre vídeos cirúrgicos para apoiar a análise de fluxo de trabalho e a educação. No entanto, as abordagens atuais enfrentam limitações significativas ao lidar com tarefas intensivas em raciocínio que exigem inferência semântica, espacial e temporal de múltiplos passos.

Os métodos existentes tipicamente tratam o VideoQA como uma tarefa direta de correspondência visual ou comprimem o vídeo contínuo em representações de tokens discretos. Essa abordagem arquitetural fragmenta as relações espaço-temporais contínuas, restringindo a capacidade do modelo de realizar raciocínios complexos, tais como:

• Raciocínio Semântico: Compreender as funções dos instrumentos e a lógica procedimental.
• Raciocínio Espacial: Analisar relações geométricas e de profundidade.
• Raciocínio Temporal: Rastrear trajetórias de movimento e fases de fluxo de trabalho.

Além disso, os Modelos de Linguagem de Visão (VLMs) generalistas exigem uma adaptação específica ao domínio de alto custo, enquanto modelos específicos para cirurgia frequentemente vinculam a percepção visual e o raciocínio dentro de um único modelo. Esse acoplamento força o modelo a aprender simultaneamente a extração de características finas e o raciocínio de alto nível, introduzindo objetivos de otimização conflitantes que necessitam de conjuntos de dados anotados em larga escala.

Metodologia

Os autores propõem um framework de Aprendizado por Reforço (RL) que desacopla a percepção visual do raciocínio. Em vez de processar o vídeo bruto diretamente, um Modelo de Linguagem de Grande Escala (LLM) planeja e opera sobre representações intermediárias estruturadas chamadas Representações de Gêmeo Digital (DT).

1. Sequência de Rollout Estruturada

O LLM gera uma sequência de saída estruturada para resolver uma consulta $Q$ dado um vídeo $V$:

1. Raciocínio Inicial ($R_0$): O LLM gera uma cadeia de pensamento (chain-of-thought) para decompor a consulta e identificar as informações necessárias.
2. Plano de Construção do DT ($G$): O LLM gera um Grafo Acíclico Dirigido (DAG) especificando quais modelos de fundação cirúrgicos devem ser invocados e suas dependências de execução.
3. Representação do DT ($D$): Após a execução do plano, o sistema anexa a representação estruturada do DT contendo entidades extraídas, relações e estimativas de incerteza.
4. Raciocínio Baseado em DT ($R_1$): O LLM raciocina sobre o DT construído para formular a resposta final.
5. Resposta Final ($A$): O LLM gera a resposta.

2. Representações de Gêmeo Digital Hierárquicas e Probabilísticas

A representação do DT é construída invocando modelos de fundação específicos (ex: SurgSAM-2, DepthAnything2, RASO, OWLv2) com base no plano do LLM. As principais características incluem:

• Estrutura Hierárquica: Para acomodar a dinâmica temporal de múltiplas escalas, o DT é organizado em três níveis:
  • Nível de Quadro (Frame): Observações instantâneas (máscaras, profundidade, tags, caixas delimitadoras).
  • Nível de Janela Temporal: Uma janela deslizante que agrega quadros recentes para preservar dinâmicas de curto prazo (trajetórias, deformações) usando identificadores de rastreamento.
  • Nível de Procedimento: Estatísticas agregadas que resumem o contexto de longo prazo (transições de fase, uso cumulativo) via um LLM externo.
• Incerteza Probabilística: Para lidar com a ambiguidade perceptual, as entidades e relações são formuladas com atributos probabilísticos. Estimativas de incerteza (ex: confiança de segmentação, confiança de reconhecimento semântico, desvio de profundidade) são derivadas das saídas inerentes dos modelos de fundação.

3. Design de Recompensa

O framework emprega uma função de recompensa baseada em regras $R(Y)$ combinando validação de formato e avaliação de precisão:

• Recompensa de Formato ($R_{format}$): Garante que a sequência de rollout contenha todos os pares de tokens necessários na ordem correta.
• Recompensa de Precisão ($R_{acc}$):
  • Avalia a equivalência semântica entre a resposta gerada e o solo (ground truth) usando um LLM-como-juiz.
  • Verificação de Plausibilidade Clínica: Penaliza respostas que contenham afirmações clinicamente implausíveis (ex: funções de instrumentos contraditórias ou sequências inseguras).
  • Calibragem Consciente da Incerteza: A magnitude da recompensa é modulada por um fator de confiança $\gamma$, calculado como a média da confiabilidade das instâncias específicas referenciadas na resposta. Isso escala a recompensa com base na confiabilidade das observações visuais.
• Treinamento: O LLM é treinado usando Otimização de Política Relativa de Grupo (GRPO).

4. Dataset: REAL-Colon-Reason

Para apoiar esta pesquisa, os autores introduziram o benchmark REAL-Colon-Reason, contendo 2.000 pares de pergunta-resposta. O dataset é derivado do dataset REAL-Colon e apresenta três níveis de complexidade:

• Nível 1: Inferência básica de passo único.
• Nível 2: Requer duas operações de raciocínio intermediárias.
• Nível 3: Demanda cadeias que excedem três passos de dedução lógica.

Principais Contribuições

1. Framework de RL para Raciocínio Desacoplado: Um framework inovador que treina LLMs para planejar e raciocinar sobre representações de Gêmeo Digital construídas por modelos de fundação cirúrgica, separando efetivamente a percepção do raciocínio.
2. DT Probabilístico Hierárquico: O design de representações de DT que codificam estruturas temporais de múltiplas escalas e estimativas de incerteza probabilística para abordar as ambiguidades inerentes e hierarquias temporais de vídeos cirúrgicos.
3. Recompensa de Validade Clínica: Um mecanismo de recompensa que impõe plausibilidade clínica e calibra a confiança da resposta contra a incerteza visual, eliminando a necessidade de cadeias de raciocínio anotadas manualmente.
4. Benchmark REAL-Colon-Reason: Um novo dataset especificamente projetado para VideoQA cirúrgico intensivo em raciocínio, cobrindo vários níveis de complexidade.

Resultados Experimentais

O método foi avaliado nos datasets REAL-Colon-Reason, REAL-Colon-VQA e EndoVis18-VQA.

• REAL-Colon-Reason: O método proposto alcançou o estado da arte com uma pontuação geral de Exact Match (EM) de 0,584 e uma pontuação SMILE de 0,646. Isso superou o segundo melhor método (Qwen3-VL-8B) em 17,2% em EM e 17,3% em SMILE. A lacuna de desempenho aumentou significativamente nos níveis de maior complexidade (Nível 3), demonstrando a capacidade superior do método em raciocínio de múltiplos passos.
• Benchmarks Existentes: No REAL-Colon-VQA e EndoVis18-VQA, o método alcançou as melhores pontuações BLEU-4 (75,42% e 87,20%, respectivamente, para in-template) e superou significativamente os métodos existentes em precisão de palavras-chave, indicando um melhor fundamentação factual.
• Estudo de Ablação: Remover a representação do DT reduziu o desempenho para um baseline de 0,242 EM. O modelo completo treinado com RL (0,584 EM) superou significativamente o baseline de ajuste fino supervisionado (0,325 EM), confirmando a eficácia do design de recompensa e do treinamento por RL.

Significância e Alegações

O artigo alega que, ao desacoplar a percepção visual do raciocínio e utilizar representações de Gêmeo Digital estruturadas, o framework proposto preserva a informação espaço-temporal fina que os métodos de compressão baseados em tokens fragmentam. Essa abordagem permite que os LLMs realizem o raciocínio complexo de múltiplos passos necessário para aplicações cirúrgicas avançadas, como antecipar eventos adversos ou fornecer orientação em situações intraoperatórias ambíguas, sem depender de quantidades massivas de dados de raciocínio anotados manualmente. Os resultados sugerem que estruturas de raciocínio explícitas sobre representações hierárquicas e probabilísticas são essenciais para lidar com cenários cirúrgicos intensivos em raciocínio onde os VLMs de propósito geral e as abordagens de quadro único falham.