ICA Lens: Interpreting Language Models Without Training Another Dictionary
Este artigo apresenta o ICALens, um fluxo de trabalho prático e eficiente que utiliza a Análise de Componentes Independentes (ICA) otimizada para extrair diretamente direções interpretáveis por humanos das ativações de modelos de linguagem sem a necessidade de treinar autoencoders esparsos, demonstrando que a ICA serve como uma lente competitiva e complementar para a interpretabilidade de modelos.