SUREON: A Benchmark and Vision-Language-Model for Surgical Reasoning

O artigo apresenta o SUREON, um grande conjunto de dados de perguntas e respostas sobre vídeos cirúrgicos extraídos de aulas acadêmicas, e dois modelos de visão e linguagem (SureonVLM e SureonVLM-R1) que demonstram capacidades superiores de raciocínio cirúrgico, superando modelos gerais em tarefas de percepção e previsão de procedimentos.

O essencial

Imagine que você está aprendendo a dirigir. Você pode ter um manual que lista todas as peças do carro (o motor, os freios, o volante). Isso é o que a Inteligência Artificial (IA) cirúrgica fazia até agora: ela era treinada para reconhecer as peças. Ela sabia dizer: "Isso é um bisturi", "Aquilo é um fígado" ou "Agora estamos na fase de corte".

Mas um cirurgião experiente não apenas vê as peças; ele entende o porquê. Ele sabe por que o médico escolheu aquele bisturi específico, qual o risco de cortar ali, o que vai acontecer no próximo minuto e como evitar um desastre. A IA atual não conseguia fazer isso porque faltavam dados que explicassem o "pensamento" por trás das ações.

É aqui que entra o SUREON, o novo projeto apresentado neste artigo. Vamos descomplicar como eles fizeram isso:

1. O Problema: O "Livro de Receitas" vs. O "Mestre de Culinária"

Antes, os cientistas tentavam ensinar a IA com "rótulos fixos" (como um livro de receitas que só diz "adicione sal"). Isso limitava a IA a apenas seguir regras.
O grande truque do SUREON foi perceber que já tínhamos o que precisávamos: as aulas de cirurgia gravadas em vídeo, onde mestres cirurgiões narram o que estão fazendo para ensinar alunos. Nesses vídeos, o cirurgião diz coisas como: "Vou cortar aqui porque o linfonodo está muito grande e, se eu tentar preservá-lo, posso machucar o vaso sanguíneo."

Essa narração é a chave. Ela contém o raciocínio, não apenas a ação.

2. A Solução: Um Exército de "Robôs Detetives"

Como transformar horas de vídeos e falas em dados que uma IA possa aprender? Os autores criaram um sistema com agentes especializados (pense neles como detetives robóticos):

• O Agente Gerador: Lê a transcrição do vídeo e procura os momentos em que o cirurgião explica o "porquê" (chamados de "Momentos de Ancoragem Semântica").
• O Agente Filtro: Verifica se a explicação faz sentido com o que está acontecendo na tela naquele exato momento.
• O Resultado: Eles transformaram essas explicações em 206.800 perguntas e respostas estruturadas.

Imagine que, em vez de apenas mostrar um vídeo de uma cirurgia, o sistema cria um quiz interativo:

• Pergunta: "Por que o cirurgião sacrificou esse vaso sanguíneo?"
• Resposta (com raciocínio): "Porque o nódulo linfático adjacente era muito grande e tentar preservá-lo teria comprometido o vaso."

3. Os "Alunos": SureonVLM e SureonVLM-R1

Com esses dados, eles treinaram dois modelos de IA:

• SureonVLM: É o aluno que estudou muito e aprendeu a responder perguntas sobre cirurgia com alta precisão. Ele é como um residente muito bem treinado que sabe a teoria e a prática.
• SureonVLM-R1: É o aluno "pensador". Além de responder, ele foi treinado para pensar em voz alta antes de dar a resposta (como um raciocínio passo a passo). Ele diz: "Vejo que há um sangramento, então o cirurgião deve estar usando energia para coagular...". Isso é crucial para a segurança, pois permite que humanos entendam como a IA chegou à conclusão.

4. Os Resultados: O Pequeno Gigante

O mais impressionante é que eles usaram um modelo de tamanho médio (8 bilhões de parâmetros), mas ele superou gigantes (como o GPT-5 e o Gemini) em tarefas cirúrgicas específicas.

• Segurança: Na identificação de práticas de segurança (como evitar erros críticos), o modelo deles acertou 93% das vezes, enquanto os modelos gerais de IA erravam muito mais.
• Raciocínio: O modelo conseguiu prever o próximo passo da cirurgia e explicar decisões complexas, algo que os modelos gerais não conseguiam fazer bem.

5. A Metáfora Final

Pense na IA cirúrgica antiga como um turista com um mapa: ele sabe onde estão as ruas (as ferramentas e órgãos), mas não sabe para onde ir ou por que tomar aquela avenida.

O SUREON transformou a IA em um guia turístico local experiente. Ele não só sabe onde estão as ruas, mas explica: "Não pegue essa avenida porque há um buraco (risco de sangramento), então vamos pegar esta outra para chegar ao destino com segurança."

Resumo em uma frase

O SUREON pegou as lições de mestres cirurgiões, transformou-as em um gigantesco banco de perguntas e respostas que ensinam o "porquê" das coisas, e criou uma IA que não apenas "vê" a cirurgia, mas entende e explica a lógica por trás dela, tornando a cirurgia assistida por computador muito mais segura e inteligente.

Resumo técnico

1. Problema e Motivação

Os sistemas atuais de Inteligência Artificial (IA) cirúrgica são predominantemente treinados para tarefas de percepção fixa (como reconhecimento de fases, etapas, ferramentas e segmentação anatômica) usando ontologias de anotação pré-definidas. Embora eficazes para identificar "o que" está visível no campo cirúrgico, esses modelos carecem da capacidade de raciocinar sobre "por que" uma manobra é realizada, antecipar o próximo passo ou fornecer explicações interpretáveis em linguagem natural.

O principal gargalo é a escassez de dados de treinamento que codifiquem explicitamente o raciocínio cirúrgico em escala. Anotações manuais detalhadas são caras e difíceis de obter. No entanto, vídeos de palestras cirúrgicas narradas por especialistas já contêm esse raciocínio (intenções, justificativas e antecipações), mas os dados são inerentemente ruidosos, não estruturados e pedagogicamente seletivos, tornando-os inadequados para treinamento supervisionado direto.

2. Metodologia

O trabalho propõe uma solução em duas frentes: a criação do conjunto de dados SUREON e o desenvolvimento de modelos de Visão-Linguagem (VLM) especializados.

A. O Conjunto de Dados SUREON

O SUREON é um dataset de grande escala derivado exclusivamente de vídeos acadêmicos cirúrgicos narrados por especialistas.

• Pipeline de Curadoria Multi-Agente: O sistema utiliza agentes de IA especializados (baseados em GPT-5) para processar as transcrições dos vídeos.
  • Identificação de Momentos de Ancoragem Semântica (SGMs): O pipeline localiza segmentos onde a narração ancora explicitamente entidades visuais, ações ou decisões clínicas.
  • Geração e Filtragem: Agentes geradores criam pares de Pergunta-Resposta (QA) estruturados a partir das transcrições, e agentes validadores filtram amostras que não atendem aos critérios de qualidade ou que não correspondem à cena visual atual.
• Taxonomia de 12 Tipos de Questões: O dataset cobre um espectro amplo de tarefas:
  • Percepção: Existência de entidades, atributos, localização, interação ferramenta-ação e descrição de ação.
  • Raciocínio e Temporalidade: Descrição de ação, raciocínio sobre ação local, raciocínio sobre decisão, sumarização de sequência, ordenação temporal, previsão (forecasting) e identificação de práticas de segurança.
• Estatísticas: O dataset contém 206.8 mil pares de QA derivados de 134.7 mil clipes de vídeo, cobrindo 170 tipos de procedimentos. Inclui um benchmark validado por especialistas com 354 exemplos (30 por tipo, exceto sumarização).

B. Modelos e Treinamento

Os autores adaptaram o modelo base Qwen3-VL (8B parâmetros) através de uma estratégia de aprendizado multi-estágio:

1. Ajuste Fino Supervisionado (SFT): Realizado em três etapas progressivas:
   • Etapa 1: Atualização apenas da camada de projeção MLP (mapeamento de características visuais para o espaço de linguagem).
   • Etapa 2: Atualização conjunta do codificador de visão e da MLP.
   • Etapa 3: Atualização da MLP e do LLM (mantendo o codificador de visão fixo).
   • Dados: Mistura de 30% SUREON, 50% imagens de datasets padrão e 20% vídeos de datasets padrão.
2. Aprendizado por Reforço (RL) com GRPO: O modelo SureonVLM-R1 é otimizado usando Group Relative Policy Optimization (GRPO).
   • O modelo é incentivado a gerar tokens de raciocínio explícito (<thinking>) antes de responder.
   • A função de recompensa combina correção da resposta, aderência ao formato, penalidades por tags malformadas e recompensas específicas para raciocínio (ex: preposições sobre eventos futuros).

3. Contribuições Principais

• SUREON Dataset: O primeiro dataset de grande escala focado em raciocínio cirúrgico, transformando narrativas pedagógicas não estruturadas em dados supervisionados estruturados.
• Pipeline de Extração Automatizada: Uma metodologia robusta usando agentes multi-IA para extrair "Momentos de Ancoragem Semântica" sem necessidade de anotação manual extensiva.
• Modelos de Raciocínio Cirúrgico: Introdução do SureonVLM e SureonVLM-R1, que demonstram capacidades superiores em tarefas de segurança e decisão clínica em comparação com modelos gerais de grande porte.
• Interpretabilidade: O modelo R1 gera traços de raciocínio explícitos, permitindo que o sistema explique a lógica por trás de suas decisões (ex: identificar que um vaso foi sacrificado devido a um linfonodo aumentado).

4. Resultados

Os modelos foram avaliados no benchmark SUREON e em tarefas cirúrgicas padrão (Cholec80, HeiChole, Endoscapes, etc.).

• Desempenho no Benchmark SUREON:
  • SureonVLM e SureonVLM-R1 alcançaram uma precisão média de ~84-85% em perguntas de múltipla escolha, superando significativamente modelos comerciais de ponta como GPT-5.1 (68%) e Gemini 3.1 Pro (60%).
  • Vantagem em Segurança: Em "Identificação de Práticas de Segurança", os modelos propostos atingiram 92-93% de precisão, contra 62% do GPT-5.1 e 47% do Gemini.
  • Raciocínio de Decisão: Alcançaram 98-100% de precisão em questões de raciocínio de decisão, onde modelos gerais falham.
• Generalização: Os modelos mantiveram alto desempenho em tarefas de percepção padrão (reconhecimento de fase, detecção de ferramentas), demonstrando que o treinamento para raciocínio não degradou a capacidade perceptiva.
• Comportamento de Raciocínio: Análise qualitativa mostrou que o modelo consegue inferir intenções operativas e distinguir modalidades de instrumentos (ex: tesoura fria vs. eletrocautério) baseando-se em pistas visuais descritas no raciocínio gerado.

5. Significado e Conclusão

O trabalho demonstra que o gargalo para a IA cirúrgica avançada não é a arquitetura do modelo, mas a disponibilidade de dados de treinamento adequados. Ao utilizar a "sabedoria" contida em palestras cirúrgicas narradas, é possível mover os modelos de meros reconhecedores de padrões para sistemas capazes de raciocínio clínico interpretável.

O SUREON e o SureonVLM-R1 representam um avanço crucial para aplicações de suporte à decisão intraoperatória, onde a segurança e a explicabilidade são críticas. As limitações mencionadas incluem a seletividade pedagógica dos vídeos (passos rotineiros podem estar sub-representados) e a dependência parcial de juízes de LLM para avaliação, o que pode favorecer respostas fluentes em detrimento da precisão clínica absoluta. No entanto, o trabalho estabelece um novo paradigma para o desenvolvimento de IA cirúrgica baseada em raciocínio.