Development and multi-center evaluation of domain-adapted speech recognition for human-AI teaming in real-world gastrointestinal endoscopy

Título: Desenvolvimento e Avaliação Multicêntrica de Reconhecimento de Fala Adaptado a Domínio para Trabalho em Equipe Humano-AI em Endoscopia Gastrointestinal do Mundo Real

1. O Problema

A integração de Inteligência Artificial (IA) em ambientes clínicos dinâmicos, como unidades de endoscopia gastrointestinal, enfrenta barreiras significativas na interface de interação humano-máquina. Especificamente, os sistemas de Reconhecimento Automático de Fala (ASR) de uso geral (como Whisper, Conformer) apresentam desempenho insuficiente neste contexto devido a dois fatores principais:

• Terminologia Específica: Os médicos utilizam vocabulário altamente especializado (ex: classificações de Paris, escalas BBPS, termos como "divertículo" ou "ressecção mucosa") que é sub-representado em corpora de treinamento de domínio geral.
• Condições Acústicas Complexas: As salas de endoscopia possuem ruído operacional persistente (torres de endoscopia, dispositivos de sucção, alarmes) e interações com múltiplos falantes, criando interferências acústicas que degradam a precisão da transcrição.
• Falta de Dados: A escassez de dados de fala clínica anotada de alta qualidade, devido a restrições éticas e de privacidade, limita o treinamento de modelos robustos.
• Latência e Desdobramento: A necessidade de sistemas leves e de baixa latência para implantação em borda (edge), essenciais para fluxos de trabalho em tempo real onde as mãos do médico estão ocupadas.

2. Metodologia

Os autores propõem o EndoASR, um sistema de ASR em chinês, adaptado a domínio e de código aberto, projetado especificamente para o suporte à ditado durante colonoscopias. A abordagem metodológica inclui:

• Estratégia de Adaptação em Duas Etapas:
  • Geração de Dados Sintéticos: Para superar a falta de dados reais anotados, os autores converteram relatórios de endoscopia estruturados em fala sintética usando um sistema Text-to-Speech (TTS) de alta qualidade.
  • Etapa 1 (Adaptação Linguística): O modelo base (Paraformer) foi ajustado (fine-tuned) exclusivamente com fala sintética limpa para aprender o vocabulário médico, padrões de fraseamento e convenções de relatórios.
  • Etapa 2 (Robustez Acústica): O modelo da Etapa 1 foi ajustado novamente com dados sintéticos misturados a ruído de sala de endoscopia real (capturado em um centro clínico), simulando condições operacionais adversas.
• Arquitetura do Modelo: Utilização do Seaco-Paraformer como arquitetura base (modelo não autossorvedor end-to-end), escolhido por seu equilíbrio entre precisão e eficiência computacional. O modelo final possui 220M de parâmetros.
• Validação Progressiva:
  • Avaliação Retrospectiva: Teste em 600 gravações reais de um único centro com 6 endoscopistas.
  • Avaliação Prospectiva Multicêntrica: Teste em 300 gravações reais de rotina clínica em 5 centros independentes, cobrindo 6 categorias de conteúdo clínico (pré-procedimento, intra-procedimento, lesões, câncer, inflamação, pós-procedimento).
• Integração com LLM: O sistema foi integrado a um Modelo de Linguagem Grande (LLM) para extrair informações clínicas estruturadas, avaliando o impacto da qualidade do ASR no fluxo de trabalho final.

3. Principais Contribuições

• Sistema EndoASR: Primeiro sistema de ASR adaptado a domínio para endoscopia gastrointestinal em chinês, focado em implantação em tempo real e borda.
• Pipeline de Dados Sintéticos: Uma metodologia robusta para gerar corpora de treinamento de grande escala a partir de relatórios estruturados, contornando a escassez de dados de fala clínica anotada.
• Validação Multicêntrica Rigorosa: Uma das primeiras avaliações prospectivas de ASR médico em múltiplos centros, demonstrando generalização em ambientes acusticamente heterogêneos.
• Foco na Precisão Terminológica: Introdução e ênfase na métrica de "Precisão de Terminologia Médica" (Med ACC), argumentando que erros em termos críticos são mais prejudiciais clinicamente do que erros gerais de caracteres.

4. Resultados

• Desempenho na Avaliação Retrospectiva (6 Endoscopistas):
  • Redução da Taxa de Erro de Caracteres (CER) de 20,52% (modelo base Paraformer) para 14,14% (EndoASR-noise).
  • Aumento da Precisão de Terminologia Médica (Med ACC) de 54,30% para 87,59%.
• Desempenho na Avaliação Prospectiva Multicêntrica (5 Centros):
  • O EndoASR-noise reduziu o CER de 16,20% (base) para 14,97%.
  • A Med ACC melhorou de 61,63% para 84,16%, demonstrando robustez consistente em diferentes ambientes hospitalares.
• Eficiência e Latência:
  • Fator de Tempo Real (RTF) de 0,005, significativamente mais rápido que o Whisper-large-v3 (RTF 0,055).
  • Tamanho compacto de 220M parâmetros, permitindo execução eficiente em dispositivos de borda.
• Impacto no Fluxo de Trabalho: A integração com LLM mostrou que a melhoria na qualidade do ASR reduziu erros na extração de informações estruturadas e melhorou a coerência dos relatórios gerados, com feedback visual quase instantâneo (~200 ms).

5. Significado e Conclusão

Este trabalho demonstra que a adaptação de domínio, impulsionada por dados sintéticos e uma estratégia de ajuste em duas etapas, é uma solução viável e escalável para superar a lacuna de distribuição (out-of-distribution) entre modelos de fala gerais e ambientes clínicos especializados.

O EndoASR não é apenas uma ferramenta de transcrição, mas um componente crítico para o trabalho em equipe Humano-AI na medicina procedural. Ao garantir a precisão de termos médicos críticos e operar com baixa latência, o sistema permite que a IA atue como um agente interativo confiável, apoiando a documentação clínica, a tomada de decisão e a segurança do paciente em tempo real. A validação multicêntrica confirma que a solução é robusta o suficiente para ser implantada em cenários clínicos do mundo real, estabelecendo um novo padrão para interfaces de voz em IA médica.