Sum-of-Checks: Structured Reasoning for Surgical Safety with Large Vision-Language Models

Resumo Técnico: Sum-of-Checks: Raciocínio Estruturado para Segurança Cirúrgica com Grandes Modelos de Visão-Linguagem (LVLMs)

1. O Problema

A avaliação precisa da Visão Crítica de Segurança (CVS - Critical View of Safety) durante a colecistectomia laparoscópica é fundamental para prevenir lesões no ducto biliar, uma complicação com alta morbidade e mortalidade.

Embora os Grandes Modelos de Visão-Linguagem (LVLMs) ofereçam flexibilidade de raciocínio, eles enfrentam dois desafios principais em tarefas cirúrgicas de alta criticidade:

• Falta de Confiabilidade e Auditabilidade: As previsões de modelos de "caixa-preta" são difíceis de verificar. Mesmo com técnicas como Chain-of-Thought (CoT), o processo de raciocínio pode ser inconsistente e não garante que evidências anatômicas cruciais foram consideradas.
• Complexidade de Raciocínio: A avaliação da CVS exige a integração de múltiplas evidências visuais interdependentes (visibilidade anatômica, configuração espacial e exclusão de ambiguidades), algo que modelos baseados em reconhecimento simples de padrões têm dificuldade em realizar.

2. Metodologia: O Framework Sum-of-Checks

Os autores propõem o Sum-of-Checks, um framework que separa explicitamente a elicitação de evidências da tomada de decisão final. A metodologia baseia-se em três pilares:

1. Decomposição em Verificações de Especialistas (Reasoning Checks): Em vez de pedir ao modelo para prever o critério de segurança diretamente, cada um dos três critérios da CVS é decomposto em um conjunto de verificações de linguagem natural definidas por cirurgiões (ex: "A região do infundíbulo da vesícula está visível?", "Há obstrução por instrumentos?").
2. Avaliação Binária e Justificativa: Para cada verificação, o LVLM deve produzir uma justificativa textual e um julgamento binário ($0$ ou $1$). A ambiguidade é tratada como evidência insuficiente (valor $0$), priorizando a segurança.
3. Agregação Ponderada Determinística: O escore final de cada critério ($\hat{y}^{(i)}$) é calculado através de uma média ponderada dos resultados das verificações individuais:
   $$\hat{y}^{(i)} = \sum_{j=1}^{m^{(i)}} w_j^{(i)} \cdot r_j^{(i)}$$
   Onde $w_j^{(i)}$ são pesos fixos atribuídos por especialistas, refletindo a importância clínica de cada evidência.

3. Principais Contribuições

• Framework de Raciocínio Estruturado: Introdução de um método que operacionaliza o conhecimento médico em unidades de decisão intermediárias e auditáveis.
• Separação de Evidência e Decisão: Demonstração de que estruturar o processo de verificação melhora a precisão e permite a inspeção granular (identificar exatamente qual evidência falhou).
• Análise de Confiabilidade: O estudo revela que, enquanto os LVLMs são confiáveis em verificações observacionais (ex: exposição da câmera), eles ainda apresentam variabilidade em verificações de evidência anatômica e espacial.

4. Resultados

Os experimentos foram realizados no benchmark Endoscapes2023 utilizando três modelos de fronteira: GPT-4.1-mini, Claude Haiku 4.5 e Claude Opus 4.5.

• Desempenho Superior: O Sum-of-Checks superou todos os métodos de base (Direct Prompting, CoT e Sub-Question Decomposition) em todos os critérios da CVS. O aumento médio na precisão média (mAP) foi de 12% a 14% em relação ao melhor baseline.
• Necessidade de Componentes: Testes de ablação mostraram que tanto os exemplos de few-shot (exemplos de treinamento no prompt) quanto a agregação ponderada são essenciais para o alto desempenho.
• Exemplo de Sucesso: Em casos onde métodos tradicionais falharam completamente (previsão $0$ para critérios que eram $1$), o Sum-of-Checks conseguiu identificar as evidências corretas e atingir pontuações altas.

5. Significância

Este trabalho é significativo para o campo da Inteligência Artificial na Saúde pois demonstra que, para sistemas de segurança crítica, a estrutura do raciocínio é tão importante quanto a capacidade do modelo. Ao alinhar o processo de pensamento da IA com o protocolo clínico dos cirurgiões, o Sum-of-Checks transforma modelos de linguagem de ferramentas de "adivinhação" em sistemas de suporte à decisão mais transparentes, auditáveis e, consequentemente, mais seguros para o ambiente cirúrgico.