AENEAS Project: First real-time intraoperative application of machine vision-based anatomical guidance in neurosurgery

O projeto AENEAS demonstrou pela primeira vez a viabilidade de um sistema de visão computacional em tempo real, baseado em IA, para fornecer orientação anatômica automática durante cirurgias endoscópicas endonasais neurocirúrgicas, alcançando uma precisão média de 0,56 e uma latência de 47,81 ms.

O essencial

Imagine que você está dirigindo um carro em uma estrada escura e cheia de curvas, mas, em vez de um GPS comum, você tem um co-piloto superinteligente que olha pela janela o tempo todo e aponta exatamente onde estão as placas de "Pare", as faixas de pedestres e os buracos na pista, tudo isso em tempo real, sem nunca piscar.

É exatamente isso que o projeto AENEAS fez, mas no mundo da neurocirurgia.

Aqui está a explicação simples do que aconteceu:

1. O Problema: Cirurgias "às cegas" (quase)

Em cirurgias complexas no cérebro, especialmente aquelas feitas pelo nariz (chamadas endoscópicas), o cirurgião trabalha em um espaço muito pequeno e escuro. É como tentar montar um quebra-cabeça minúsculo no escuro. O médico precisa saber exatamente onde está cada estrutura delicada para não errar. Até hoje, os computadores conseguiam reconhecer essas partes depois da cirurgia (como revisar um vídeo gravado), mas não conseguiam ajudar enquanto o médico operava.

2. A Solução: O "Olho de Águia" Digital

Os pesquisadores criaram um sistema de inteligência artificial que funciona como um GPS em tempo real para o cérebro.

• O Cérebro do Sistema: Eles usaram uma tecnologia chamada "YOLOv8" (que é como um cérebro de computador treinado para ver coisas rápido) e a otimizaram para rodar em um supercomputador portátil (o NVIDIA Clara AGX).
• A Velocidade: O segredo aqui é a velocidade. O sistema foi feito para ser tão rápido que o atraso entre a câmera ver algo e a tela mostrar a informação é de apenas 47 milissegundos. Para você ter uma ideia, é mais rápido do que o tempo que seu olho leva para piscar! Isso significa que a ajuda aparece na tela quase instantaneamente, sem atrapalhar o movimento do cirurgião.

3. O Resultado: O Primeiro Teste Real

Eles testaram esse sistema na vida real, durante uma cirurgia de verdade.

• O Desempenho: O sistema conseguiu identificar corretamente as partes mais importantes do caminho cirúrgico em cerca de 56% dos casos (um número que, para ser o primeiro teste do mundo em tempo real, é um ótimo começo).
• A Sensação: Funcionou como um guia confiável que aponta os marcos importantes, ajudando o médico a não se perder.

4. Por que isso é importante?

Pense nisso como a evolução do GPS do carro. Antigamente, você olhava o mapa e tentava adivinhar. Depois, veio o GPS que falava "vire à direita". Agora, com o AENEAS, temos um sistema que vê o que você vê e te diz o que é perigoso ou importante na mesma hora.

Isso traz três grandes vantagens:

1. Segurança: O cirurgião tem menos chance de errar o caminho.
2. Menos Cansaço Mental: O médico não precisa ficar tentando memorizar a anatomia o tempo todo; o computador faz essa parte pesada.
3. Escola: É como ter um professor ao lado que mostra exatamente o que está acontecendo, ajudando novos médicos a aprenderem mais rápido.

Em resumo: O projeto AENEAS foi o primeiro a colocar um "olho de computador" dentro da sala de cirurgia para ajudar os médicos em tempo real. É o primeiro passo para transformar a cirurgia cerebral em uma atividade onde a inteligência artificial é uma parceira constante, tornando tudo mais seguro e preciso.

Resumo técnico

Resumo Técnico do Projeto AENEAS

1. Problema e Objetivo
O artigo aborda a lacuna existente entre o desempenho promissor de sistemas de reconhecimento anatômico em ambientes offline e a falta de implementação prática durante cirurgias reais. O objetivo principal foi realizar a primeira implantação intraoperatória de um sistema de visão computacional em tempo real para neurocirurgia, especificamente em cirurgias endoscópicas endonasais. O sistema visa identificar automaticamente estruturas anatômicas críticas durante o procedimento, fornecendo orientação contínua ao cirurgião.

2. Metodologia
A equipe desenvolveu um pipeline de processamento de vídeo de baixa latência utilizando as seguintes tecnologias e etapas:

• Modelo de IA: Foi treinado um modelo de detecção de anatomia utilizando a arquitetura YOLOv8 (Ultralytics) no ambiente PyTorch.
• Otimização e Exportação: Após o treinamento, o modelo foi exportado para o formato ONNX e otimizado utilizando o motor NVIDIA TensorRT para garantir alta velocidade de inferência.
• Plataforma de Implantação: O sistema foi implantado utilizando o NVIDIA Holoscan SDK, rodando em um kit de desenvolvimento NVIDIA Clara AGX.
• Validação: O desempenho do modelo em tempo real foi comparado com vídeos da mesma cirurgia rotulados manualmente (referência ground truth).
• Métricas de Avaliação:
  • Precisão Média (Average Precision) com limiar de Intersecção sobre União (IoU) de 0,5 (AP50).
  • Medição da latência end-to-end (do momento da aquisição do quadro até a exibição da saída anotada).

3. Principais Contribuições

• Primeira Implantação Clínica em Tempo Real: O estudo marca a primeira vez que um sistema de assistência por IA, capaz de identificar estruturas anatômicas, foi utilizado com sucesso durante uma operação neurocirúrgica ao vivo.
• Pipeline de Baixa Latência: A demonstração de que é possível integrar modelos de deep learning complexos em hardware médico (Clara AGX) com latência suficiente para não interferir no fluxo cirúrgico.
• Orientação Automatizada Contínua: Fornecimento de feedback visual imediato sobre o campo cirúrgico, ajudando na orientação espacial do corredor transesfenoidal.

4. Resultados

• Desempenho de Detecção: O modelo alcançou uma AP50 média de 0,56, demonstrando capacidade confiável de detectar os marcos anatômicos mais relevantes no corredor transesfenoidal.
• Latência: O sistema apresentou uma latência end-to-end média de 47,81 ms (mediana de 46,57 ms). Este valor é considerado adequado para aplicações em tempo real, permitindo que a sobreposição de informações ocorra quase instantaneamente em relação ao movimento da câmera.

5. Significado e Conclusão
Os resultados do Projeto AENEAS provam a viabilidade de assistência por visão computacional de nível clínico em neurocirurgia. A tecnologia tem o potencial de:

• Melhorar a orientação intraoperatória e a segurança do paciente.
• Reduzir a carga cognitiva dos cirurgiões.
• Servir como uma ferramenta poderosa para o treinamento cirúrgico.
  Este trabalho representa um passo inicial fundamental para a integração de suporte de IA em tempo real nos fluxos de trabalho rotineiros de neurocirurgia, transicionando a tecnologia de laboratórios de pesquisa para a sala de operações.